打孔卡、键盘、鼠标、触摸屏——几代人以来,人们不断适应新的计算机交互方式,用以沟通、创造并完成各种任务。但如果存在另一种可能:让设备反过来适应人类,借助机器学习和人工智能,采用一套不那么机械、更直观且本质上更贴近人性的控制方案,那又会是怎样一番景象?

得益于计算机视觉和自然语言理解的进步,这一领域已经出现了诸多突破——人们可以通过语音进行交互,计算机也能像人类一样观察世界。但如果能利用双手的细微动作来控制电脑呢?毕竟,用手去触碰周围的世界,是人类最早学会的互动方式之一。倘若一种与机器互动的新方式,真的就藏在人们的指尖之间呢?
这是Meta Reality Labs多年来一直在探索的未来。基于其研究发现,他们认为手腕处的表面肌电图(sEMG)是解锁人机交互下一次范式转变的关键。
这一想法正在获得广泛关注。最新一期的《自然》杂志——全球领先的多学科科学期刊之一——刊登了一篇经过同行评审的论文,概述了Meta Reality Labs在该领域的工作,并验证了sEMG作为一种直观且无缝的输入方式,能够适用于大多数人。
sEMG不仅能让人在移动中与设备进行直观且无缝的交互,Meta还支持了外部研究实验室的工作,这些研究表明这项技术具有天然的包容性,因为它对不同身体能力和特征的人群都有效。
Meta Reality Labs成功地将sEMG腕带与Orion——其第一副真正意义上的增强现实眼镜——制作成了原型,但这仅仅是个开始。他们开发了先进的机器学习模型,能够将控制手腕肌肉的神经信号转化为驱动人们与眼镜交互的指令,从而消除了对传统且更笨重的输入方式的需求。用户可以无需键盘就能打字发送消息,无需鼠标就能浏览菜单,在查看周围世界的同时与数字内容互动,而无需低头看手机。
sEMG能够识别用户执行各种手势的意图,比如轻点、滑动和捏合——所有这些操作都可以在手舒适地放在身侧时完成。得益于其手写识别技术,用户可以在桌面、桌子甚至腿上快速书写信息,这为外出时进行隐秘沟通开辟了新的可能性。
Meta Reality Labs的神经网络是基于数千名同意参与的研究人员的数据训练的,这使得它们在解码不同人群的细微手势时高度准确,且无需单独校准。尽管通用模型开箱即用效果良好,但即使基于有限的个人数据进行少量个性化调整,也能将手写识别精度提升高达16%——换句话说,sEMG腕带能够适应用户,并随着时间的推移提供更好的性能。
Meta认为,这项技术是目前所有开发成果中最出色的,它能让大多数人以无缝、直观且可适应的方式控制自己的设备。
它完全是非侵入性的,开辟了利用肌肉信号与计算机交互的新途径,同时解决了其他形式人机交互面临的许多问题。它使用起来方便、简单且自然——在语音交互等替代方案可能不实用或不理想的场景下同样有效,例如在公共场合发送私密信息。它始终可用,并且无需携带笨重的配件,那些配件会让人脱离当下,分散对重要的人和事的注意力。
或许最令人兴奋的是,这篇发表在《自然》杂志上的论文为更广泛的科学界提供了创建自己神经运动接口的蓝图。除了在硬件、实验设计、数据需求和建模方面提供一套重要的设计规则和最佳实践外,Meta Reality Labs还公开发布了一个数据集,其中包含来自300多名研究参与者、跨越三项不同任务的超过100小时的sEMG记录。结合此前开源的手势估计和表面打字sEMG数据集,Meta Reality Labs希望这次发布能帮助加速学术界和研究人员在该领域的未来工作。
随着时间的推移,sEMG可能会彻底改变人们与设备的交互方式,帮助有运动障碍的人们获得更高程度的独立并改善生活质量,同时解锁尚未想象到的人机交互新可能。
它很可能被证明是几乎所有设备的完美输入方式。
来源:meta


