Quest v64 两个隐藏功能:家具识别和手势、手柄多模态追踪

Quest v64 两个隐藏功能:家具识别和手势、手柄多模态追踪

本月早些时候发布的 v64 版本正式为 Quest 3 改善彩透、外部麦克风支持和支持躺卧模式,以及摘下头显保持继续投屏。

但 Quest 部分用户已经注意到 v64 还带来了更新日志中未提及的两个主要功能:Quest 3 上的家具识别以及手势、手柄多模态追踪。

Quest 3 上的家具识别

Quest 3 会在混合现实设置过程中生成房间的 3D 网格,并且始终可以从此 3D 网格推断墙壁、地板和天花板的位置。在 v64 之前,头显还不知道这个网格中的哪些形状代表更具体的元素,如门、窗、家具和电视。

但在 v64 中,在混合现实房间扫描结束时,Quest 3 会自动识别门、床等物体,并创建一个带标签的矩形长方体边界框:

  • 窗户
  • 沙发
  • 储物(橱柜、架子等)
  • 屏幕(电视和显示器)
Quest v64 两个隐藏功能:家具识别和手势、手柄多模态追踪
来自X Squashi9 的 Quest 3 v64 家具识别镜头。

Quest 开发人员可以使用 Meta 的 Scene API 访问这些边界框,并使用它们自动放置虚拟内容。例如,他们可以在房间里最大的桌子上放置一个桌面游戏板,用门户替换你的窗户,或者在全VR游戏中描绘你的电视,这样你在游戏时不会碰到它。

Apple Vision Pro 已经为开发人员提供了一系列粗略的 2D 矩形,代表座椅和桌子的表面,但尚未提供 3D 边界框。iPhone Pro 上的 RoomPlan API 可以执行 3D 边界,但该 API 在 visionOS 中不可用。

据我们所知,X 用户 Squashi9 首次公开注意到了新的 Quest 3 功能。UploadVR 在 Quest 3 上测试了 v64,发现此功能适用于大多数对象类别,但存储除外,它经常创建不准确的边界。

你可能会认为这听起来很像 Meta 上个月展示的 SceneScript 研究。但是 v64 中 Quest 3 上的家具识别远比 SceneScript 粗糙得多。例如,对于沙发,v64 会创建一个简单的矩形长方体来封装它,而 SceneScript 会为座椅区域和扶手生成单独的矩形长方体,并为靠背生成一个圆柱体。SceneScript 可能需要比 Quest 3 目前的家具识别能力高得多的计算能力,而 Meta 仅将其作为研究,而不是近期功能。

手势、手柄多模态追踪

自去年以来,Quest 开发人员已经能够尝试同时使用手部跟踪和 Quest 3 或 Quest Pro 控制器,并且从两个月前开始,他们已经能够将使用此功能的应用程序发布到 Quest Store 和 App Lab。

在 v64 中,Quest 家庭空间中添加了多模态模式,包括透视和 VR 模式。同样,请记住,它仅适用于 Quest 3 或 Quest Pro 控制器,因此除非您购买 Pro 控制器,否则您不会在 Quest 3上看到此功能。

多模态可在控制器跟踪和手部跟踪之间实现瞬时转换,不再延迟。它还允许使用一个控制器,同时仍然跟踪另一只手。这意味着您可以拿起一个控制器来导航 Quest 家庭空间,而不会像电视遥控器一样卡顿。这可能对网页浏览、媒体观看和更改设置很有吸引力,提供跟踪控制器的精度和触感,同时让您的另一只手自由。

来源:uploadvr

(0)
上一篇 2024年4月17日 下午5:38
下一篇 2024年4月18日 下午7:56

相关推荐

发表回复

登录后才能评论