
借助 Quest Pro,Meta 引入了新的头像界面,可以更好地反映用户的面部表情和身体动作
在 Meta Connect 2022 上,Meta 推出了 Movement SDK,允许开发者在他们的 VR 应用中实现以下功能:
- 人脸追踪(使用 Meta Quest Pro)
- 眼动追踪(使用 Meta Quest Pro)
- 身体追踪(使用 Meta Quest Pro 和Meta Quest 2)
Quest Pro 的面部和眼动追踪
眼动追踪和面部追踪功能利用 Meta Quest Pro内部的五个新红外传感器。也就是说,三个瞄准眼睛和脸的上部,两个瞄准脸的下部。
预训练的 AI 模型基于面部动作编码系统 (FACS) 从抽象传感器数据中获取面部表情,这是一种广泛使用的人类面部表情编码方法。开发人员可以将面部表情映射到各种化身。无论是漫画还是现实,人类还是幻想,都没有关系。
Meta 创建了两个头像示例供开发人员进行试验。一个是Alien Aura,如你所见,它可以代表一系列逼真的面部表情。
眼动追踪还可以进行目光接触或新的互动形式。面部和眼动追踪默认关闭,必须由用户在设置中激活。根据 Meta 的说法,传感器数据保留在设备上,一旦不再需要数据处理,就会被删除。
全身追踪
Quest 2和Meta Quest Pro支持全身追踪。这个词有点误导。事实上,这个功能只包括头部和手部的动作。耳机不会记录臀部、腿或脚的运动。
运动 SDK 的身体跟踪功能将运动数据传输到Avatar,使其看起来尽可能自然。
机器学习在这里也发挥了作用。“我们使用真实人体运动的大型数据集来纠正逆运动学或基于 IK 的方法中常见的错误,”Meta 产品经理 Vibhor Saxena 解释说。逆运动学方法来自机器人学,描述了基于有限数据点的肢体空间关系的机器估计。
目前, Meta Horizon 产品已经使用了这种身体追踪功能。现在它可供开发人员使用,因此将在除 Horizon Home、Worlds 和 Workrooms 之外的其他 VR 应用程序中启用更逼真的化身,而无需开发人员编写自己的 IK 模型。该系统是灵活的。它可以在手和控制器跟踪之间无缝切换,并且可以映射到不同形状的骨架。
“我们使用大量真实人体运动数据集来学习和纠正逆向运动学或基于 IK 的方法中常见的错误,”Saxena 承诺。他可能指的是具有模拟腿的化身,除其他外,它可能在发布时也属于运动 SDK。
Movement SDK 是Presence Platform的一部分,是Meta 对沉浸式界面和 SDK 的统称。Meta 将它们分为三大支柱:混合现实(Insight SDK)、交互(Interaction SDK 和语音 SDK)和社交存在。运动 SDK 是第一个属于后者。
