
SpatialML Capture是一款专为PICO设备设计的应用,旨在帮助开发者、研究人员和机器人爱好者录制高质量的多模态空间数据。这款应用服务于机器学习和机器人研究领域,通过捕获并按时间戳同步多种数据流,将其保存为统一的SpatialMP4格式文件。数据流包括双目RGB视频(左眼和右眼图像)、深度信息以及设备的实时6DoF位姿(位置和方向)。通过这种方式,SpatialML Capture将PICO XR头显转化为一个高效且便捷的工具,可用于训练机器学习模型、开发机器人导航算法或调试VIO和SLAM算法。


要使用SpatialML Capture,用户需要确保设备兼容PICO 4 Ultra,并且操作系统版本为5.14.0或更高。应用可在PICO应用商店免费下载,链接为https://store-global.picoxr.com/global/detail/1/7534682087157317672。核心功能包括同步存储所有数据流到一个SpatialMP4文件中,优化录制过程以降低功耗,以及通过adb命令轻松将文件导出到电脑进行分析。录制时,用户需在PICO设备上启动应用,授予相机、音频和空间数据的必要权限,然后使用控制器扳机键或“音量+”按钮开始和停止录制。建议在光照良好环境下保持动作平稳,以获得最佳数据质量,录制文件默认保存到设备路径/sdcard/Movies/SpatialMP4/。

为了解析录制的数据,PICO开发者提供了一个开源的SpatialMP4 C++/Python SDK及可视化工具。SDK仓库地址为https://github.com/Pico-Developer/SpatialMP4,它提供API用于读取RGB图像、深度图、位姿数据和相机参数,支持多种读取模式和随机帧访问。仓库中还包含一个测试可执行文件test_reader,可用于快速可视化空间数据。SpatialML Capture非常适合需要采集高质量、同步空间数据的场景,例如训练XR应用的AI模型或开发下一代机器人。详细使用案例和指南可参考工具文档https://developer.picoxr.com/zh/document/unity/spatialmlcapture/。
对于反馈和问题,用户可通过GitHub仓库提交SDK相关issue,或通过PICO应用商店的反馈渠道提交应用相关问题。开发者期待听到用户的意见,以进一步优化工具。整体而言,SpatialML Capture为空间计算领域提供了一个实用的数据采集解决方案。
图/文:Pico