7年探索，Meta第三种人机交互——触觉手套全揭秘

元资讯元宇宙 2021-11-24 22:19:31 401 0

脑机接口、AR眼镜、肌电手环，在探索人机交互革命这条道路上，Meta（Facebook）给出的每个方案都赚足眼球，并且都能让用户从手柄中解脱出来。

11月16日，Meta又公布了另一种形式的人机互动研究成果：触觉手套，用户戴上触觉手套在接触虚拟物体时会拥有真实的触感，至此，Meta人机交互探索“三件套”告一段落。

图源：Tech.fb

Meta的三种人机交互探索：

AR 眼镜、肌电手环、触觉手套

在Meta的Facebook Reality Labs（RL）实验室，设有专门负责VR+/AR交互探索的团队，这个由研究员、工程师、设计师们所组成的团队，从事的都是长期性的研究，他们的目标是为未来10~15年的数字世界创造新的“无摩擦”交互技术。

在他们进行VR/AR交互技术探索的过程中，所产生的科技成果不仅有可能从根本上改变VR/AR的发展进程，还有可能影响医学、太空旅行等各个行业。为此，FRL进行了一系列人机交互（HCI）研究。

这一系列研究共为三个方向：

图源：Tech.fb

第一，AR眼镜，这是Meta设定的10年愿景。AR眼镜的交互由AI驱动，拥有上下文感知能力，它可利用用户选择共享的信息来主动提供帮助，用户抬头即可查看这些信息；

第二，肌电手环，这是一项相对更为短期的研究，输入方式基于手腕，并且结合了一定的AI，能动态适应用户及用户周围的环境；

第三，则是现在提到的触觉手套，这项研究结合了软体机器人、微流体、手部追踪、触觉渲染与感知科学等多方面知识。

脑机接口原本也是Meta研究的人机交互方案之一，后因实现度等问题，今年早些时候Meta表示暂时性放弃。

在剩余的三项交互方案当中，触觉手套作为VR体感设备并不新鲜，起码从形态上并没人让人眼前一亮，而且相比于VR/AR场景下手部追踪的裸手体验，触觉手套似乎作为外设更为合理。

但若论起真实感，在Meta所给出的人机交互方案中，也唯有触觉手套可以做到让用户在虚拟世界与虚拟物理互动时获得真实的触感。

Meta在发布的文章中写到，这一人机交互方式的研究项目旨在解决元宇宙的核心挑战之一：如何接触虚拟世界。那触摸虚拟世界是一种什么样的体验？

触摸虚拟世界是一种什么样的体验？

从Meta公布的演示视频中，我们能够看到触觉手套上布满了可伸缩、活动的黑色装置，即使是指尖也可以移动变化。

从游戏互动来看，戴上手套后，手势识别十分准确而灵活，玩家可以对不同的物体进行抓握和操控，推倒多米诺牌，白色的球体在手中随手部移动而滚动，均十分自然。

用户与用户之间可以进行真实的互动，比如握手、击拳、手指间的互动等等。手势识别非常准确、细致，可惜的是，我们作为观看者无法亲身体会手部与虚拟物体交互时的模拟触感。

根据演示视频，距离我们想象中在虚拟世界模拟真实世界丰富的触感，比如流水、玻璃、金属、木材、毛衣......仍有一段距离，即便如此，到达现阶段的效果也是一次困难重重的人机交互探索。

耗时七年，Meta人机交互方案触觉手套的攻艰之路

想要将VR触觉反馈手套做好，并非容易的事情，即使是对Meta这样汇集大量高科技人才的公司而言。

SEAn Keller是RL研究室总监，同时也是解决这一问题的团队创立者，在他的带领下，七年间，这个团队由一个人扩张到汇聚几百位世界级专家。

Keller团体想要发明柔软、轻便的触觉手套，需要解决VR/AR交互的两个问题：帮助计算机准确理解佩戴者的手部运作并给出反馈，并为佩戴者再现一系列复杂、细微的感觉，比如压力、纹理和振动，以模拟虚拟物体在手中的真实感受。

这样的新型触觉手套需要跨学科以及工程学科的专业知识，并在此基础上有所突破。在Keller带领下的RL团队学习了如何感知触觉，并不断研究手套如何适配不同大小的手型的同时，还能与用户的手保持耦合。

图源：uploadvr

他们首先从在手上创造可信的触觉开始。

为了提供真实的触感，每支触觉手套都需要上百个遍布手部的执行器（微型电机），并以一种让佩戴者感觉像在触摸虚拟物体的方式协同移动。

以现有的机械制动器，会产生过多的热量，用户无法舒适地佩戴一整天。而且它们太大、太贵并且非常耗电，无法呈现逼真的触觉。

1、控制气流：构建高速微流体处理器

RL Research硬件工程总监Tristan Trutna说，“不可能在手上设置1000个小电机与电线，即使你有无限的资源用来完成它，也做不到。情况太复杂，而且热量太高。如果需要在不同位置、不同距离数以千计的有形力，要么需要气动，要么需要液压或者是高密度电制动器。”

经过两年研究，团队受到了传统电气金属组件的限制。于是他们做出假设，使用柔软、柔韧的驱动器替代机械驱动器，这些驱动器由全新的材料制成，可以根据佩戴者的动作改变形态。但这样的制动器并不存在。

团队开始转向软体机器人与微流体这个新兴领域，这类技术通常用于假肢与PoCket诊断设备。两年间，他们在气制动器（使用气压产生力）与电制动器（在出现电场时改变形态与尺寸）两个方向都取得了巨大进展。

为了控制这些新的软体制动器，团队正在构建世界上第一个高速微流体处理器——一枚安装在手套上非常小的微型流体芯片，它能通过高速阀门何时以及在多远处进行开关来控制移动制动器的气流。

2、“触觉渲染”：构建虚拟环境中的精准感官

即便有了控制气流的方法，系统也需要知道何时何地提供正确的感觉，这需要先进的手部追踪技术，让计算机能够准确地知道手在虚拟场景中的位置，无论是否与虚拟对象接触，手部与对象如何在交互。

这同样需要一种新型的渲染软件，可以根据手的位置和对虚拟环境的理解，在准确的时间向手上的制动器发送正确的指令，包括虚拟物体的纹理、重量、刚度等。

图源：Tech.fb

RL 研究软件工程师 Forrest Smith 说，“人们通常将‘渲染’视为视觉效果。我们将这个词也用在了手套上，我们正在做的是获取虚拟世界的状态以及您与它的交互，并将其渲染到制动器，以让用户接受到相应的感觉。”

RL研究工程师Justin Clark写道，“为了渲染与对象的实时交互，我们需要进行相应的物理模拟”。物理引擎（用于模拟视频游戏中对象交互的软件）用于确定您的手在与虚拟对象交互时应用感受到的力的方向、大小和位置，然后，触觉渲染算法将这此信息与触觉设备的特性（比如各个制动器的位置与属性）相结合，以便向设备发送正确的指令。

RL Research 软件工程师 Andrew Doxon 补充道：“挑战之一是构建适用于不同类型制动器并支持各种触觉体验的软件。最终，我们还需要构建工具，让人们能够像创建视觉或音频内容一样创建触觉内容。”

3、结合听觉、视觉和触觉反馈

团队研究进入第四年，第三个挑战出现了，为了使纹理和感觉发挥作用，他们必须在不完全重现真实物理的情况下模拟真实的物理触碰。

虽然触觉手套能提供一定的触觉反馈，但却不能在手部抓虚拟物体时完美的实现闭合，或是在将虚拟物体放置在桌面上时阻止手穿透虚拟桌面。

他们开始转向感知科学与多感官整合，以研究人类感官如何协同工作以建立我们对世界的理解。

UX 研究科学经理 Sophie Kim 解释了该团队如何利用人类的感知能力来创造令人信服的感觉：“我们的大脑非常擅长接收一点触觉信号、一点视觉信号、一点听觉信号，并将它们融合在一起以实现立体的感觉，并让大脑相信手中存在一个物体”。

RL 感知研究科学家 Jess Hartcher-O'Brien 则描述了操纵立方体如何让我们了解在 AR/VR 中“感觉整合”可能是什么样子。“如果我拿起一个立方体，我已经对它的材料类型以及它的重量有了一些假设。我抓住它，对材料进行了验证，所以我将关于其材料特性的视觉线索和来自第一次触碰瞬间的触觉反馈结合起来。当我去操纵物体时，我的大脑会识别摩擦力和惯性，并且可以计算出这个物体的密度或重量。我的视觉系统正在根据它看到我手臂移动的方式进行更新。本体感觉告诉我我的手臂在空间中的位置，它移动的速度有多快，以及我的肌肉在做什么。”

触觉手套甚至可以让佩戴者的感知系统相信它正在感受物体的重量，通过用制动器轻轻拉动佩戴者手指的皮肤来模拟握持物体时的重力拉力。但这一切都必须准确计时。

在2017年末的一个实验中（如下图），团队使用指尖上的单个振动触觉设备提供触觉反馈，这些由不同材料制成的虚拟球在VR中从天而降，因为材质不同，因此在每个球落在虚拟的指尖上时，都有其独特的视觉、听觉和触觉反馈线索。