解读XR专用芯片对体验的重要性
硬件 395
搭载XR专用芯片的XR设备
设备 | XR芯片 | 特征 |
---|---|---|
Apple Vision Pro | R1 | 12 毫秒内光子到光子延迟 |
Hololens 2 | HPU | 第 2 代定制全息处理单元 |
Hololens 1 | HPU | 第 1 代定制全息处理单元 |
Spectacles 24 | 未知 | 运动到光子延迟为 13 毫秒 |
XR专用芯片对于XR设备应对环境感知尤为重要,没有XR芯片摄像头和IMU实时数据全都交给GPU处理,这样不仅会占用部分性能,还会带来数据延迟。下图为苹果Vision Pro R1芯片的直观作用,差不多解释了12ms延迟:
Spectacles 24上的XR专用芯片
9月18日,Snap推出的第五代AR眼镜中,公司表示使用两个高通芯片,两个芯片位于左右镜腿上,提高性能和改善散热,同时表示还具有运动到光子延迟为 13 毫秒。目前高通最新AR芯片是AR2 Gen1,于2022年11月发布。但Snap没有公布眼镜的芯片名称,这两款芯片可能是高通未公布的新产品。
其中一个就是XR专用芯片,它负责对摄像头数据处理,实现6Dof追踪、手部追踪、场景理解(实时环境三维网格生成)。
Snap基于这两款芯片,设计出AR软件系统,通过PIPE使得运动到光子的延迟低至13毫秒。
如何理解延迟13毫秒?
当你用真实手指捏住一个虚拟物体运动时,AR显示对应虚拟物体同样运动时,产生的延迟只有13毫秒。