想象一下，您正坐在办公桌旁，使用专门 为您量身定制的键盘， 手指的长度，手掌的跨度，感觉到没有按键的按键……甚至没有。想象一下，在没有电线或支架的情况下，屏幕上漂浮着一个菜单，漂浮在您的面前，您的鼠标位于垃圾箱中，并且在您甚至没有请求它们之前就已经看到了选项。这就是Facebook向我们展示的，它正在其未来实验室中朝着这个方向努力的现实。

当涉及到具有前瞻性的计算平台时，Facebook希望以与(仍然)拥有社交网络空间相同的方式处于主导地位。它对Oculus VR的持续投资表明了这一雄心，最近发布的Facebook Aria(正在开发中的增强现实可穿戴眼镜)也证明了这一雄心。

但是，AR和VR不仅拥有舒适的耳机，而且还有不断提高的分辨率和刷新率的功能。如果用户不能舒适，直观地与这些无所不包的软件环境进行交互，那么使用它并不会带来很多乐趣，更不用说生活了。

因此，进入Facebook现实实验室(FRL)的马克·扎克伯格(Mark Zuckerberg)帝国注视未来的部门，专注于增强和虚拟化的所有事物。目前，这是所有计算中最严峻的挑战之一-一只笨拙的鼠标，并使界面和输入系统适合增强现实的未来。

它的答案?受头脑控制的腕部可穿戴设备，能够拦截思想和意图，而手势控制的界面只需要挥手即可。实际上，在某些情况下，甚至为全世界的无障碍倡导者所喜欢，他们甚至根本不需要动手。

“这是一个令人难以置信的时刻，因为它是对旧世界的改变，这为创新和发现奠定了基础，” FRL研究科学总监肖恩·凯勒(Sean Keller)在TechRadar圆桌会议上表示欢迎。

“这是我们遵循并依赖以推动计算向前发展的规则的变化。我可以想象，这是现在最丰富的机会之一。”

从鼠标到手腕

蜡笔，铅笔，钢笔，鼠标，键盘……可穿戴吗?如果Facebook的研究和原型有待发展，那可能就是我们下一波输入设备浪潮的轨迹。Facebook认为可以使用从VR中学到的知识来解决似乎不可能的替换鼠标的问题

正如支持其Oculus Quest虚拟现实硬件上使用的手部跟踪应用程序的增长所证明的那样，它希望摆脱计算时所持有的设备，从而使我们的手和手指能够充分利用其全部功能和潜力。

VR用户可能已经发现自己熟悉虚拟现实“捏”功能-将光标悬停在某个项目上，然后将拇指和食指合在一起进行选择。但这是一个有限的交互，容易出现错误，并且只能处理其“接触”到的界面所允许的复杂程度的过程。

Facebook认为，利用肌电图(EMG，评估和记录骨骼肌产生的电活动)的腕戴式设备是与增强现实所依赖的环境计算接口进行更复杂和直观交互的第一步。现实中。

Facebook的原型利用传感器来解释和转换从大脑到手臂再到腕部的运动神经信号，能够将手指的运动理解为运动的“毫米”范围。

与现有的摄像头跟踪系统(完美地放在手腕上观看手部)配合使用，这将使用户自由地操作虚拟的数字对象，而又不会阻止它们与现实世界进行交互。

再往前走一步，对手的全部需求可能是多余的，因为系统经过训练可以“仅感知移动手指的意图”。

FRL神经运动接口总监说：“我们正在尝试使用神经接口进行操作，是让您使用周围神经系统的输出直接控制机器，尤其是使手和手指肌肉动起来的大脑外部神经。”托马斯·雷登(Thomas Reardon)。

确实，Facebook展示了一个演示，演示了一个无手出生的男人在几分钟之内就能使用腕上安装的设备以惊人的灵巧程度操纵虚拟手。Reardon甚至建议我们有一天可以用模拟每只手上“六个或七个手指”的方式来控制此类设备。

神经接口的目的是打破人机交互的悠久历史，并开始使其发展，这样，人类对机器的控制比对我们的控制更多。

免提输入系统当然已经存在-像Amazon的Alexa这样的语音助手能够通过不断增长的AI知识库来理解命令并推断上下文含义，而无需按下按钮。

但是FRL团队认为语音“对于公共领域来说不够私人化，或者由于背景噪音而不够可靠”。

手腕靠近手，我们主要的互动式身体部位即可穿戴设备最有意义-尽管如何捕获，存储和解释神经数据将带来全新的隐私问题，甚至语音目前也无法抗衡，并且甚至需要在考虑推出消费者之前就需要解决该问题。

Facebook的可穿戴设备与看到消费者甚至商业应用程序有一定距离。但是，根据Reardon的说法，事情正在“快速发展”，这表明一些类似的设备可能很快就会出现进行测试。

AR使您可以随时随地将计算机桌面放置在任何地方。 (图片来源：Facebook Reality Labs)

AR和VR接口

Facebook认为当前的计算界面响应速度不够。他们会做出反应，但并不期望会学习，但很少有上下文相关的知识。结果，我们一直在与采取数个输入步骤来完成我们可以立即可视化的任务的软件和系统作战。

“神经接口的目标是打破人机交互的悠久历史，并开始使其发展，这样，人类对机器的控制比对我们的控制要多。” Reardon解释说。

“我们想要以人类为整体体验绝对中心的计算体验。”

但是，如果没有匹配的界面，就不可能实现这样的目标。像Facebook Aria这样的AR眼镜将在我们的视野中随时提供信息，并将从各种来源获取数据，以适应当前的需求。

收集位置数据，环境传感器数据(例如温度和房间布局)，甚至是一天中的时间等简单数据，目的是让AR界面了解上下文以仅呈现所需内容，从而抢占用户的明确意图。

FRL研究科学经理Tanya Jonker解释说：“底层的AI对您将来可能要做的事情有所了解。”

“也许您是在外面慢跑，并且根据您过去的行为，系统认为您最有可能想要收听正在播放的播放列表。然后，它在显示屏上向您显示该选项：“播放正在运行的播放列表?” 那就是工作中的自适应界面。

“然后，您可以使用微手势简单地确认或更改该建议。“智能点击”(AR界面的轻按即可向您显示与当前需求相关的信息，而无需先召唤它)使您能够以非常低的摩擦方式采取这些高度上下文相关的操作，因为该界面显示了一些可以根据您的个人历史和选择来确定相关性，它可以使您以最少的输入手势就可以做到这一点。”

增强型环境计算将在上下文中了解您的需求，从而在我们周围的世界范围内提供信息。 (图片来源：Facebook Reality Labs)

增强现实的优点在于它可以立即为您创建完美的设备。想象一下一种数字键盘，其形状和大小可减小至毫米，以适合您的手的大小和键入样式，而不是物理制造所需的通用现货大小。

但是，在数字环境中的物理感觉至关重要，因为即使在没有最大推动力的情况下，即使是最大尺寸的数字键盘也无法令人满意地使用。

FRL团队展示了两种旨在回答手腕触觉问题的设备。第一个是“ Bellowband”，这是一个腕带，其中包含八个气动风箱，可对其进行控制以提供压力和振动模式。

第二个设备是Tasbi(触觉和挤压手镯接口)，它使用六个挤压在手腕上的“振动触觉致动器”。两者结合可以提供反馈信息，从而产生按下虚拟按钮或刷不同纹理的感觉。

目前，它们都没有准备好迎接黄金时段，麻烦且需要外部电源。但他们指出，Facebook认为这种感觉对于与数字商品进行直观，可信的交互至关重要。

然后，最终目标不仅是要让计算和现实世界共存，而且要融合。尽管智能手机可能已经降低了进入计算的障碍，但AR的目标是彻底消除障碍。

找到一个自然的用户界面和交互方式将是消除数字世界与物理世界之间摩擦的关键，而Facebook正在进行的这些实验无疑正在使人们受益匪浅。

标签： Facebook