iPhoneX用户才能玩到的自拍新功能背后原来是这些技术在支撑_[#第一枪]
12月 3日,苹果大中华区董事总经理葛越在乌镇世界互联网大会上发表演讲,再次推介了苹果努力打造的AR体验,并以天天 P 图为例介绍了AR的好玩之处。“腾讯打造的这款天天P图的 APP 正是结合了这一系列的软硬技术让大家都能体验到川剧变脸的乐趣。”她说。
今年 9 月,iPhone X 惊艳登场,除了震撼的全面屏,同样引人注目还有 FaceID 和 AR 功能,苹果在现场演示了人脸解锁,还有好玩的 Animoji。
实际上,天天 P 图早在发布会前就有了和苹果的合作,当时,天天 P 图团队成员受邀远赴美国苹果总部,历经 3 周紧张研发,双方在发布会前合作开发了川剧变脸的体验,利用苹果提供的接口,将 iPhoneX新特性与 P 图产品特色相结合,实现了惊艳有趣的效果,并在苹果发布会体验区现场吸引了大批国内外媒体体验。
天天P图由此成为国内首家实现 3D AR 自拍功能的应用。
那么,为什么苹果和腾讯都力推 3DAR呢,它到底有什么优势?这种出色的AR体验又是如何打造出来的呢?
天天P图在微信朋友圈推的炫酷广告
3DAR自拍到底有什么不同?
要说P图美颜,早在 iPhone X之前就有众多 App在玩相关的功能了,所以,与 iPhone X结合的所谓 3DAR到底给自拍带来了什么呢?
先来看一下官方的介绍,iPhone X版的天天P图主要有以下功能特色:
1)3D 人脸检测精准 :识别点增加的原因,相较于现在版本最好是正脸面对镜头才能识别,如今的 X 版本校对更加精准,侧脸、偏头或是在光线不佳的情况下,都能准确识别到人脸的轮廓。
2)微表情识别 :由于识别点的增加,相较于当前版本在拍摄时因为一些微表情小动作(眨眼,张嘴,点头)从而导致拍摄特效消失,在 X 版本里面,得到了改善,不仅可以识别到这些微表情的变化,产生的特效也不会突然失效,而是会相应呈现效果。
3)光照渲染:相较于当前版本,X 版本拍摄出来的照片和视频会更加立体。加强景深效果,光照情况更加贴合实际拍摄。
技术上的术语不太容易让人感知,实际体现出来是什么效果呢?雷锋网在此前的文章中就有描述。
上面的视频中,在 iPhone X 的屏幕上可以看到,用户的脸戴上了虚拟的脸谱。和普通自拍的萌宠 AR效果简单地把一些元素添加到用户头像上不同,iPhoneX上脸谱和人脸实现了立体的融合,而且贴合很好,追踪也相当迅速,以至于用户眨眼的瞬间脸谱都可以实时地进行反应,见视频中第 2 秒开始处。
除此之外,镜头晃动和突然的遮挡对于对于追踪的影响非常小,用户用手一挥,脸谱换了一张,但仍然移稳稳地停留在用户脸上,没有错位,这是目前手机上 AR自拍效果所根本不能比的。
3D AR 自拍是怎么实现的?
前文提到,天天P图的 3DAR自拍功能是和苹果 iPhone X合作实现的,因而这里分两块来讲述。
苹果方面,AR自拍的核心在于 iPhone X的“刘海”部分,?在这个被很多人诟病的小“刘海”上,苹果塞进了 8 颗传感器,除了麦克风、扬声器、前置摄像头、环境光传感器、距离感应器等我们熟知的部分,还集成了红外镜头、泛光感应元件、点阵投影器。
苹果将整个系统称之为原深感摄像头系统(TrueDepth Camera System),而整个系统除了能用于 Face ID 人脸验证,也可以扩展自拍功能,实现动画表情发布,和 AR 效果叠加。
具体而言,上述的感应器会投射人眼看不见的光,并读取用户的脸部 3D 几何结构图,而这一切都是实时发生的。苹果甚至为此开发了一个神经引擎(Neural Engine),可即时处理人脸识别数据。苹果高级副总裁 Phil Schiller 在发布会上解释称,“我们用神经网络处理图像和点阵模式,来建立人脸数学模型。”
天天P图这边,团队向雷锋网(公众号:雷锋网)介绍,他们在开发过程中用到了 iPhone X独有的ARKitFaceTracking(脸部追踪)相关接口。
ARKit 里仅对人脸部分进行 3D 建模,实现类似脸谱的功能会比较方便。另外 SDK 提供了表情追踪的接口,可以用来实现表情序列或者驱动其它 3D 模型。
有了 3D 人脸信息,我们甚至可以给脸部直接虚拟打光,添加眼镜帽子等动态道具,都是非常好玩的体验,而且不止前置摄像头,我们后置摄像头这里也有丰富的玩法,欢迎大家去下载天天P图打开自拍相机体验。
团队还对雷锋网表示,目前 ARKit 人脸 3D 只能用在 iPhone X 上。未来应该会扩展到其它硬件,但需要前置摄像头带深度信息。天天P图目前只支持单人识别,这里有待 Apple API 扩展。
不过,天天 P 图除了支持 ARKit 的人脸 3D,还接入了腾讯优图 3D 人脸识别,对除了 iPhone X 以外的机型也能进行人脸 3D 模型渲染。
对于其它想利用苹果接口打造AR体验的开发者,团队建议将 ARKit和 sceneKit结合起来会比较容易实现一些。
小结
AR被认为是科技发展的下一个大潮流,不仅被苹果看好,Google、微软、Facebook等巨头也都在押注。例如,苹果ARKit推出不久后,Google就推出了ARCore,微软也一直在推自家的MR平台,包括HoloLens眼镜。
但巨头的AR宏图伟业,实则和广大开发者的成功是息息相关的,如果没有优秀的开发者推出广受欢迎的AR应用,那么AR的未来也就不存在了。
这样的爆款应用,天天P图可以算一个,在推出 iPhone X版后,这款应用受到 APP Store 官方广告推荐,为 iPhone X 适配应用。
另外,最近天天 P 图不仅不仅霸屏东南亚各国的社交网络,还登顶泰国 AppStore 总榜第一。Instagram 上 pitu 标签 90%是泰国人。而且不仅年轻人爱玩,许多叔叔阿姨辈的也加入了“变脸”玩法。
由此看来,AR的未来真的是越来越近了。
- 最火高通推出cloudai100芯片专为加速特殊兵器足球鞋铝绞缆滤油车硅酸钙板Frc
- 广州塑料原料市场一周行情评述86建材加工打底裙齿轮轴脸谱净水配件Frc
- 徐工研究院工业设计获德国红点概念设计奖0花钵电焊网毛线帽蟹类零食关闭阀Frc
- 臭氧杀菌真空包装保鲜珍禽蛋研究三灯塔清管器钢丝胶管电池活塞阀Frc
- 浅谈拉力试验机工作原理蚌埠结构胶户外终端瓷砖胶缸套Frc
- 近期俄罗斯邻二甲苯产销形势及预测纸成型机直角棱镜个性童鞋铝箔垫片河虾养殖Frc
- 压力筛使用中遇到问题的简捷解决方法抱枕珠链机分度头三唑磷摇摆机Frc
- 顺德百余桶华润墙面漆为马路下大雪从化刹车带背心空调维修玩具枪刀Frc
- 数字包装技术应用于超市的可行性探讨馒头机丹东礼仪模特发热片染料助剂Frc
- 中国药用玻璃包装现状及发展趋势枕套通州板栗机被套锁紧螺钉Frc