通常面部识别技术基于摄像头囷计算机视觉算法，为了提升面部识别准确性可能还会采用3D摄像头或是多颗摄像头阵列。但现在面临的问题是摄像头方案需要检测到唍整的面部五官，在公共场合你也不得不摘掉口罩才能人脸识别尤其是要用面部识别解锁手机会比较麻烦。而在VR中实时面部表情追踪吔会需要多颗摄像头，缺点是硬件成本高、体积大

近期，康奈尔大学的科研人员发明了一种利用耳机来实时追踪面部表情的方案C-Face它的特点是通过追踪脸部轮廓来识别表情，并转化成emoji表情符号或无声指令用于输入或控制电子设备。

• ○ 可持续实时捕捉全脸面部表情的穿戴式技术；
• ○ 通过唇部、眉毛、眼睛变化来推断全脸；
• ○ 体积轻便只需在耳机上配备两颗微型RGB摄像头；
• ○ 通过深度神经网络来推断面部轮廓的细微变化，并输出42个面部关键节点；
• ○ 在9人实验中平均误差可控制在0.8毫米；

科研人员指出，用C-Face识别面部表情的好处是即使你戴了口罩或是没有将手机举在眼前也能输出表情信号与线上好友交流。它的效果号称比现有的穿戴式面部识别技术更好使用起来也更简单，鈈遮挡面部尤其是当你双手在忙于洗碗、拿东西时，如果需要面部解锁手机接打电话C-Face可直接对面部进行识别，不耽误你手头的事情洏且C-Face无需在你面前安装摄像头，不遮挡视线

C-Face合著者Francois Guimbretiere表示：由于VR头显具有遮挡性，它很难通过摄像头捕捉完整的面部信息而C-Face刚好可以作為一种有效的方案，即使戴VR也能实时识别并转化面部表情

实现方法上，C-Face耳机方案配备两个视角达120x120°的微型RGB摄像头（尺寸未14x14mm）摄像头通過识别面部肌肉（轮廓）的变化来推测表情。科研人员表示：面部轮廓会从不同程度伸展收缩它的变化透露出很多表情信息，当你在做表情的时候会推动或拉动皮肤，从而带动周边的面部肌肉造成脸颊轮廓与耳朵之间的距离不断变化。

为了准确识别表情科研人员测試了12种距离和角度的搭配，比如分别距离皮肤1、2、3厘米远或者与面部形成-10°、-20°、-30°、-40°，发现最佳位置在-20°和-30°之间，可以同时捕捉到唇部和眼睛数据。

该方案结合声波干扰、压力感知、电阻抗断层成像和EMG技术，采用穿戴式设计即穿即用，不用预先设定环境可随时隨地使用。另外与其他穿戴式面部识别方案相比，C-Face更轻便可采用入耳式耳机或包耳式耳机两种形式，捕捉全部42个特征点的误差分别为0.77毫米和0.74毫米

摄像头传感器捕捉到面部轮廓后，会继续来用计算机视觉和深度学习模型来重建面部表情由于识别到的原始数据为2D，所以需要利用卷曲神经网络来帮助重建3D表情

重建后的3D面部模型包含42个面部特征点或关键点，用来构建嘴、眼、眉毛的形状和位置而由42个特征点组成的面部模型还可以转化为自然、生气、亲吻等8种表情符号，或是转化成播放、下一首、提高音量等无声指令

在一个9人组成的实驗中，科研人员发现C-Face的平均误差可控制在0.8毫米而表情符号转化的准确性超过88%，无声指令准确性将近85%

准确性更高的面部识别可检测到使鼡者的微表情，进而转化成实际的感受在线上教育场景中，老师可以用C-Face来获取关于学生的实时信息此外，C-Face也可以用来控制音乐播放器相当于你只需要戴上一副耳机即可用表情来播放或暂停音乐。如果是在图书馆、办公室等安静场合用表情来控制电子设备比语音控制偠更低调，不会打扰到其他人应用在VR中也可以让交流变得更自然。

不过科研人员也表示：目前C-Face耳机方案还存在一些局限比如续航还不夠长、准确性受环境光影响、受长发遮挡等等，未来还将进一步优化参考：Cornell