先进XR技术:仿生3D相机功耗不到1W

绘制3D场景需要大量设备和计算。传统解决方案通常依赖多台摄像头、专用传感器或强大的GPU处理大量数据,仅仅确定物体在空间中的位置。它们在大多数情况下表现不错,但体积较大且耗电较大。这些因素使它们不适合用于可穿戴设备或无人机等移动应用。

由西北大学研究人员领导的一个团队采用了一种完全不同的3D制图方法,既微小又节能。团队受跳蛛启发,创造了一个名为SpiderCam的系统,借鉴了动物界的技巧,使绘制地图变得更简单。这项技术最终有望应用于各种微型电池供电设备。

跳蛛拥有一种特殊的视觉系统,尽管它们的大脑大小不过罂粟籽,却能估算距离。他们的眼睛不仅依赖立体视觉,还包含多层视网膜,能够同时捕捉不同焦距的图像。通过比较这些细微的模糊差异,蜘蛛可以在跳跃前判断物体的距离。SpiderCam在硬件上应用了同样的概念。

研究人员的定制相机利用分光镜和一对低功耗图像传感器,在稍有不同的对焦设置下拍摄同一场景的两张图像。随后,一个专门的深度差分-失焦(DfDD)算法分析图像间的差异,并将模糊变化转换为深度测量。与许多现代计算机视觉系统不同,SpiderCam不依赖复杂的神经网络或昂贵的主动感测硬件。

先进XR技术:仿生3D相机功耗不到1W

为了保持极低的功耗,研究人员将整个处理流程直接应用于低功耗FPGA而非传统处理器。团队还重新设计了DfDD算法的部分内容,以降低计算开销,最小化内存使用,并提升在处理噪声高图像传感器时的鲁棒性。

先进XR技术:仿生3D相机功耗不到1W

原型机能生成分辨率为480×400像素的稀疏深度图,工作范围约为52厘米,分辨率为480×400像素。整个系统——包括图像传感器和处理硬件——仅耗电624毫瓦。据团队介绍,这使得SpiderCam成为首个运行在一瓦以下的被动FPGA 3D摄像系统。

由于SpiderCam依赖被动成像而非投射光,它能够处理反射面、透明物体和常常挑战主动深度感测系统的移动场景。该方法还消除了对耗电量大的照明硬件的需求,使其对移动平台具有特别的吸引力。

研究人员设想未来版本的SpiderCam将应用于可穿戴设备、辅助技术、小型机器人、无人机和增强现实系统。他们还计划改进光学性能,扩大视野,并最终开发定制芯片,进一步降低功耗。

来源:hackster

(0)
上一篇 1天前

相关推荐

发表回复

登录后才能评论