Emteq 的 VR 面部追踪技术可读取你的肌肉脉冲等

作为英国排名前 20 的大学之一，萨塞克斯大学开设的本科课程可能对 VR 的未来至关重要。该校的教学内容涵盖神经科学、认知科学和生物医学科学等领域。我们很可能会看到新一代 VR 人才从该校走出。但我来这里不是为了谈论这些，我来这里是想谈谈技术。

苏塞克斯创新中心坐落在校园一个安静的角落。面部识别公司 Emteq 所在的大楼里的办公室则更加安静。首席执行官格雷姆·考克斯 (Graeme Cox) 在我身后关上办公室门时告诉我，这个小团队有一种“星期五的感觉”，尽管很难想象迎接我的友好工程师和开发人员会心情不这样。对于一家在 VR 最重要领域之一工作的公司来说，Emteq 营造了一个非常安静的环境。

也许这反映了团队对 faceteq 的信心，faceteq 是他们为 VR 耳机和其他设备构建的情绪跟踪平台。faceteq 不使用摄像头来监控和复制你的面部表情，而是使用基于传感器的系统，该系统覆盖耳机接触你脸部的区域。该系统读取电肌肉活动、心率、皮肤反应和其他指标，然后将它们翻译回相关的表情。

这是虚拟现实的一个重要领域，尤其是在行业开始转向社交体验的情况下。本月早些时候，Facebook 在 Oculus Connect 3 上展示了卡通形象，这些形象的脸部动画试图复制用户的情绪和反应。这也是一个处于非常早期阶段的领域；演示一小时后，Oculus 首席科学家迈克尔·阿布拉什告诉观众，完美的虚拟人类还有很长的路要走，而情绪跟踪将在其中发挥重要作用。

Emteq 的工作确实还处于早期阶段；该技术的当前迭代才刚刚一年多，但已显示出很大的前景，而一个改进的版本即将问世。

“了解人类背景、情感背景和物理背景以及它们是如何形成的，并拥有能够与人类一起实现这些的虚拟现实系统、增强现实系统和人工智能系统，这真的很重要，”考克斯说。“在虚拟现实中移动，并将情感反应融入其中，这就是我们的使命。”

今天，该公司向我展示了一个粗略的演示，包括上手和下手演示。团队正在展示带有 Oculus Rift DK2 的系统，不过，我身后是电气工程师 Mohsen Fatoorechi 博士的办公桌，他目前正在组装 CV1 的原型，很快就会完成。

“一旦完成，它就只是一个插件，”考克斯解释道。

他还计划推出一款 Vive 版本，该版本将是一个简单的衬里，可取代套件随附的魔术贴泡沫衬里。该公司还在研究 Daydream。

我首先看到经过 faceteq 修改的 DK2 与一个已根据 Fatoorechi 的表情进行预校准的虚拟形象配合使用。起初，他坐在一个基本环境中。右侧是一个调试菜单，提供有关传感器读数的实时反馈。左侧是一大组面部表情，用户可以选择进行单独校准。该过程涉及执行特定操作，例如用右眼或左眼眨眼三次，以便系统可以通过机器学习记住反馈。

Emteq 的 Rift CV1 集成渲染图

每个表情大约需要 30 秒来校准，但团队正在努力在未来简化这一流程。

Fatoorechi 使用眨眼来选择菜单上的选项，这一动作省去了使用注视控制时盯着选项的几秒钟时间。在第一次演示中，他坐在一个女人面前，女人的表情与他如出一辙。这不是最精致的展示；每次女人眨眼时，她那张参差不齐的脸看起来都像是在痛苦中，但这不是本次演示的重点。虽然存在缺陷，但系统对 Fatoorechi 的反应很好，至少据我所知，当他的大部分脸被耳机遮住时是如此。

我看到的另外两个演示展示了一些我以前从未想过的面部跟踪的独特用例。一个是电影院放映室。首席科学官查尔斯·恩杜卡让我想象一场好莱坞预演，电影制片厂可能会从传感器收集反馈数据，这是考克斯所说的“客观情感分析”的一个例子，也可以用于研究项目或游戏测试。或者你可以和朋友一起看内容，看看他们的反应。想象一下一起看喜剧大笑，或者一起被惊吓到。

另一个演示则更加独特。Emteq 创建了自己的 Facebook 墙，只需查看帖子，你就可以基于自己的表情分配表情符号。Facebook 一直在朝着更具体的情绪反应方向发展，而这个系统提供了一种更诚实、更直接的方式来传递这些信息，即使这种方式可能并不总是维持友谊的理想方式。

在演示之后，我亲自尝试了这项技术。值得注意的是，我的头发很长，这对这个早期原型造成了一点干扰。我首先校准了右眨眼，这是一个相当顺利和无痛的过程，尽管系统在处理我抬起眉毛的震惊表情时遇到了一点麻烦，我不得不放弃校准张嘴微笑，因为它根本无法识别。再次说明，这是早期的原型技术。

首席执行官 Graeme Cox（左）和首席科学官 Charles Nduka（右）。图片来源：Ben Wright

我用校准过的方法对那位女士进行了演示。令人印象深刻的是，她很快就模仿了我的眨眼动作以及眉毛和额头皱纹的位置，以吓唬一些表情。系统记住了我在校准过程中做出某些表情时发出的冲动，然后产生相关的情绪或动作。

理想情况下，faceteq 可以达到无需校准过程即可识别冲动并即时复制表情的阶段。考克斯指出，该公司的跟踪方法可以捕捉到摄像头跟踪无法识别的微小肌肉运动，但如果你需要校准如此微小的表情，那么你该在哪里停下来？肌肉冲动和反应的变化数量足以打造一个完美的虚拟人吗？

希望 Emteq 能够充分改进流程以避免出现问题，这也是其努力的目标。

“这是一个建立在数据基础上的系统，”Nduka 说道。“它获得的数据越多，它就越智能。”

我期待着在未来几个月看到该系统的改进。该团队还在研究一种使用眼电图的眼球追踪技术，据考克斯称，这不是一种“高精度”解决方案。它不足以实现像注视点渲染这样的基本过程，但能够读取眼睛的大大小小的动作和大致方向。这可能会为现有的技术再添一层引人注目的色彩。

但 Emteq 已开始利用现有资源。该公司的技术正用于治疗面瘫患者的一款应用。faceteq 还可以与眼镜配对，在日常场景中为您提供关键信息，例如在您睡眠不足时记录您的疲劳程度。

目前，该公司正在筹集种子资金，不过考克斯表示，从研究角度来看，该公司“资金充足”。对于其虚拟现实技术可能的消费者版本，该公司提出了一系列选择，包括前面提到的耳机插件。

“我们前面的道路令人兴奋，”考克斯说。“显然还有很多事情要做，但我们已经能够展示一些非常有趣的东西，到明年第一季度，我们将拥有一个可以完全正常工作的系统，可以做一些非常令人惊讶的事情。”