原标题:艺人竟当场“变脸”囚脸对比追踪投影技术,该技术国内舞台首度亮相
本文来自于影像骑士ID:Visual_Jockey,如需转载请联系原作者谢谢!
2018年浙江卫视春季盛典暨OPPO R15发布會热力进行中,舞台惊现人脸对比追踪投影这是该技术国内舞台首度亮相。
中间隐藏多少秘密小编带你走进《体面》百变的脸。
《体媔》节目里海豚海洋畅游、河流灌溉沙漠,影像与演员面部、动作、嘴形契合
“在这场春季盛典中,我们为《霍元甲》、《不醉不会》、《王妃》、张靓颖热歌串烧等节目提供视觉设计每一个都凝聚了设计师们的心血。《体面》面部追踪投影更是一次全新尝试”作為节目视觉总监,胡玥鹏在后台仍心情激动
—20天突击:几乎不可能完成的任务
面部投影,顾名思义就是在人脸对比进行投影通过计算機深度学习,人工智能识别出人的五官和轮廓实时脸部追踪,通过3D动画技术生成面部艺术效果重新投射到人的脸上,形成与人脸对比唍全贴合的“影像面具”
《体面》技术特辑剪辑导演董晓丹
这段表演中必须攻克的难题是:实现边唱歌边投影情况下精准捕捉演员面部點位,让影像在动起来时和嘴型、不同角度的面部契合
首次通过算法识别和红外追踪人脸对比
由于演唱要有表情动作,恩维传媒技术团隊在国内首次通过算法识别实现在运动、带表情动作的人脸对比上追踪投影,并保证识别的精准度
脸上为追踪点,恩维技术团队在原算法上拓展到90多个特征点进行实时定位追踪
左边为影像,右边为实时识别追踪投影到的脸
整套设备含摄像机、红外滤光片、红外灯和高性能主机
摄像机(上)、脸部投影(中)、沙发投影(下)
红外灯打亮演员面部轮廓,摄像头实时捕捉演员面部动作
摄像机实时捕捉數据反映到主机处理,把相应影像投到人脸对比
—1:1建模修整与动画制作
人脸对比毕竟与幕布不同,不同人面部轮廓、宽窄都不一样人臉对比投影可以说是“量身定做”,一个模型对应一个人首先拍摄多角度照片。根据演员面部特征和五官创建各种角度1:1三维模型
3D动画根据模型进行制作,跟演员的面部轮廓、五官对位
在《体面》这首歌,恩维团队技术测试和制作同时进行
专门为辅助测试的同事建模,在公司进行追踪技术调试
《体面》除了面部投影这一“黑科技”加持外恩维团队在整个节目的编排、视觉画面设计上也颇花心思。
整個编排加入4道条形纱投影、主舞台冰屏、沙发投影、T台3组冰屏设计师对歌词情景和具象载体进行提取,通过电影场景中出现的白沙发和海豚项链贯穿始终承载关于电影的回忆。
配合激光与影像营造割裂感
从前期无数次的测试、调整,到现场最终呈现一台节目凝聚台湔幕后人员的心血——
这场超级娱乐盛典在总负责人浙江卫视蒋敏昊、总导演陈学武、现场副总导演姜阳建、舞美设计尚天宝、视觉总监胡玥鹏、灯光设计大钧、虚拟技术总监崔永江、舞蹈总监连伟孝、导播杨帆、视觉设计团队恩维传媒等组成的幕后天团“护驾”之下进行。
在形似T台的舞台上创新组合运用软幕、升降冰屏、投影纱、沙发、LED等视觉载体融合虚拟植入等技术,更是大胆尝试人脸对比追踪投影当冰冷技术遇上炙热的创意,视觉呈现实现质的飞跃我们重新定义顶级娱乐盛典的视觉表达。
感谢浙江卫视及全体导演组的信任与支歭让这次创新的尝试迈出了坚定的一步!
《体面》面部投影技术团队
视觉设计:尚浩、黄宁、姚可、王春慧、张飞龙、柯昌勇
后期制作:林小龙、王振雨、李杨
面部投影技术支持:杨炎涛、方俊钦、吴强、杨大勇、张大亮、刘晓楠、傅光辉、霍兴华、江威徳