研究人员在探索声纳代替摄像头以使得 VR 头显更加高效

研究人员在探索声纳代替摄像头以使得 VR 头显更加高效

研究人员在探索声纳代替摄像头以使得 VR 头显更加高效

声纳代替摄像头:研究人员为 VR 头显开发了节能且私密的眼球追踪技术,但并非没有缺点。

纽约康奈尔大学的研究人员开发了一种类似声纳技术的原型,可以取代相机来跟踪眼球运动。它使用微型扬声器,为每只眼睛发出频率高于 18 kHz 的声音。这些都超出了大多数人的听力范围。

声音直接指向脸部、反射并由头显两侧的四个麦克风拾取。研究人员使用一种称为 GazeTrak 的算法来解释这些声波,以确定佩戴者目光的方向。

比相机更便宜、更轻,但精度较差

研究团队表示,声纳技术应该具有几个优点:与基于摄像头的系统相比,它可以降低功耗,并且由于摄像头不会持续记录,因此可以为用户更多的保护隐私。它还可以降低VR头显的制造成本和重量。

在 20 名参与者的测试中,基于声纳的眼球追踪显示准确度高达 3.6 度。这不如当前的高端设备(例如Apple Vision Pro)准确。然而,研究人员认为这种性能对于大多数虚拟现实应用来说应该足够了。

到目前为止,该系统有一个主要缺点:由于每个人的眼球形状不同,GazeTrak 使用的 AI 模型必须针对每个用户单独进行训练。为了将眼球追踪声纳商业化,必须收集足够的数据来创建通用模型。

精确的菜单导航、注视点渲染:眼动追踪具有众多优势

眼动追踪是虚拟现实的一项关键技术,允许您通过查看特定点来导航菜单或与虚拟环境中的其他化身进行眼神交流。Apple Vision Pro 目前正在演示精确的眼动追踪如何改善用户体验。

眼动追踪还可以通过提供正在查看的区域的详细表示和外围的不太详细的表示(注视点渲染)来实现考虑用户焦点的渲染,例如在PS VR 2上。该技术还支持创新的控制方法,例如 VR 游戏Before Your Eyes,您只需用眼睛即可控制。

眼动追踪最终将成为标准

尽管有这些优势,市场领导者 Meta 仍决定不在其当前的 Quest 3 中使用该技术,理由是制造成本、重量和所需的计算能力。到目前为止,Meta 仅在 Meta Quest Pro 中使用了眼动追踪。

但 Meta CTO Andrew Bosworth 相信,眼球追踪有一天会成为标准:

“作为与双手结合的 2D 导航 UI 范式,我们确实对其进行了很长时间的测试。所以我们很早就知道这一点。我们长期以来一直在追求这一点。这只是一种交易- 成本和重量,显然,针对产品的额外传感器。因此,我们真正专注于继续能够在更高效的架构中以高精度提供它,无论是从计算角度还是价格角度来看,这样我们就可以它融入到每一个头显中。我无法告诉你什么时候能实现。每一个头显都有自己的架构,但在某些时候,它会成为基础包的一部分。我不确定具体什么时候。”

参考:Mixed

(0)
上一篇 2024年3月12日 上午8:09
下一篇 2024年3月12日 下午6:49

相关推荐

发表回复

登录后才能评论