“大家好,我是李宇春,我的最新单曲《今天雨,可是我们在一起》MV正式发布了。在这支MV中,我心中想表达的很多情绪与画面,都将通过英特尔3D人脸面部表情捕捉技术实时出现在我的脸上。”
李宇春接受ifanr采访视频
近日,歌手李宇春推出了她的第一部人工智能版MV——《今天雨,可是我们在一起》,该MV用到了英特尔中国研究院最新的3D人脸面部表情捕捉技术,将音乐与科技完美结合,也使音乐人的内心情绪更丰富呈现。
据说,这首MV制作历时6个月才完成,具体来说,制作共分4个步骤完成:
导演首先进行 MV 原始素材得拍摄;然后使用英特尔最新的3D 面部表情捕捉技术对素材中李宇春的面部进行跟踪捕捉,建立 3D 模型;其次特效公司根据 MV 需求制作面部特效图案; 最后,特效公司在离线状态下将图案实时且无缝绘制于其脸部。
完整MV
英特尔3D人脸面部表情捕捉技术用到了人工智能最重要的分支:机器学习和深度学习。英特尔的技术工程师从数十万的人脸图片数据中,训练出的人脸识别模型,用于对视频图像进行智能分析:自动捕捉人脸区域,定位人脸关键特征点(如眼睛,鼻尖,脸颊轮廓点等),生成人脸部件的边缘轮廓线;
再从数百个三维人脸扫描数据中训练出一个参数化的三维人脸形变模型,用于模拟任何人的相貌脸型以及表情变化;最后通过数万张人脸照片,学习从2D图像到3D人脸的映射关系,确保从2D照片到3D人脸的精准转换,从而达到实时3D人脸建模的效果。未来,英特尔甚至可以将该技术应用在全身3D建模上,从而实现实时虚拟换衣等功能。
英特尔为了能让普通观众可以近距离的接触人工智能技术,还特意在成都搭建了一处线下体验区。
成都体验区
观众可以直接站在摄像头前面体验人工智能技术
观众现场体验
采集观众面部的摄影头
情绪房间体验区
情绪房间体验区
情绪房间体验区
英特尔通过摄像头来定位 78 个关键点,实时跟踪头部运动和面部表情变化,对图像进行智能分析和特征提取,再通过运算将不同的特效叠加上去,得到我们最终看到的效果。
英特尔的大屏幕上显示着各种技术效果的术语
衍生品
幕后视频