HoloActive Touch虚拟触屏技术
宋腾腾 裴哲慧 刘容 张根齐 胡易律 秦浩翔 周维幸
摘 要 触摸屏的普及使得人机交互更为简单便捷，但在大触摸屏和超大触摸屏的使用上存在价格昂贵、通用性差、稳定性差、准确性差等问题，由此虚拟触摸屏应运而生。本文通过对不同方式的悬浮触控的工作原理，leap motion手势操控，以及Ultrahaptics公司的超声波触觉反馈技术的介绍与分析，引出了宝马的HoloActive Touch技术。该技术由显示，操控，反馈构成，显示是通过仪表盘里面的投影仪经过微棱镜折射到扶手前面的半空中，使得驾驶员可以不低头就能够看到界面，减少驾驶的安全隐患；在操控方面，车内摄像头捕捉指尖的运动，达到操控界面的效果；反馈方面，由于在空中点击，为了增加使用的舒适感，需要添加点击反馈，主要采用超声波装置，使指尖感受到力的作用，达到反馈的目的。
关键词 虚拟触屏；手势操控；触觉反馈；LeapMotion；超声波；
1. 引言
触摸屏是继键盘、鼠标之后最为普遍接受的输入方式，它方便了人们对计算机的操作，用户只要用手指轻轻地触碰计算机显示屏上的图符或文字就能实现对主机操作， 从而使人机交互更为直截了当， 非常适合多媒体信息查询， 是一种极有发展前途的交互式输入设备。 目前， 普通触摸屏主要有红外线式、电阻式、 表面声波式、 电容式等类型， 然而这些类型的大屏幕尤其是超大屏幕触摸屏产品，均存在价格昂贵、通用性差、稳定性差、准确性差的问题。现在实现了一种基于摄像头的虚拟触摸屏系统，改变了传统的触摸屏的实现技术，它由多个摄像头拍摄手指在虚拟触摸屏上的移动和点击操作，从拍摄的图像中将人手区域分割出来，进而提取手指的边缘轮廓，将手指轮廓的 B 样 条曲线的第 4 个控制点定义为手指位置，由二维坐标射影变换公式转换进而获得手指在显示屏幕上的位置坐标。 这一技术方案本质是用多个摄像头将手指及触摸屏的三维图像转换成多个二维图像，进而从这些二维图像中识别出手指及手指的移动、点击等动作。因为拍摄的图像必须包含显示屏幕，所以摄像头必须放置在显示屏幕的前方，对于大屏幕触摸屏必然存在人体遮挡无法识别手指的问题。该文设计的虚拟触摸屏系统由一维图像采集装置采集手指在虚拟触摸屏上的一维数据，由多个一维数据识别手指在二维虚拟触摸屏上的位置坐标，从而完成人机交互。
2.关键实现技术
2.1悬浮触控工作原理
悬浮触控技术的工作原理是怎样的呢？索尼移动的研究工程师及技术联合发明者Erik Hellman，对悬浮触控技术做了详细的说明： 与许多智能手机一样，Xperia sola使用电容式触摸感应来记录用户在屏幕上的输入。触摸手机屏幕时发生的事件被称为触碰事件。电容式触摸通过覆盖在手机上的X-Y电极网格工作，运用 上面的电压。当有手指靠近电极时，电容会改变，而且可以被测量。通过比较所有电极的测量值，就可以准确定位手指的位置点。
触摸屏上有两种电容式传感器，互电容和自电容。互电容，用于实现多点触摸检测。自电容能够产生比互电容强大的信号，检测更远的手指感应，但由于一种被成为“鬼影(ghosting)”的效应，无法进行多点检测。
2.1.1互电容实现多点触控
拥有互电容，如图1中的每一个线条交叉点都会形成平行板电容器。这意味着，每一个交叉点都是一个电容器，进而保证可以将测量精确到每一根手指，实现多点触控。然而，因为两根线之间的交叉点面积很小，使得传感器的电场也很小。传感器如此之小，以至于信号强度很低，无法感应到那些非常弱小的信号。因 此，当用户的手指在屏幕上悬停时，互电容传感器就无法感应到信号。
2.1.2自电容和鬼影效应
在自电容案例下，图1中的每一根X或者Y线都是一个电容传感器。显然，自电容传感器要比互电容的大。大传感器可以创建强大的信号，使得设备可以检测到在屏幕上方20mm处的手指。当有手指停留在屏幕上或者屏幕上方时，距离手指最近的传感器线会被激活(X1，Y0)。如果检测到两根手指，便会有 四根线被激活，鬼影效应出现。正如上图显示的，当检测到两根手指时，会出现四个可能的触碰点(X1，Y0)、(X1，Y2)、(X3，Y0)以及 (X3，Y2)，而正确的组合又是不明确的，进而不能实现多点触控。
2.1.3结合自电容和互电容，实现悬浮触控
悬浮触控是通过在一个电容触摸屏幕上，同时运行自电容和互电容来实现的。互电容用于完成正常的触碰感应，包括多点触控。而自电容用于检测悬停在上方的手指。由于悬浮触控技术依赖于自电容，因此不可能实现悬浮多点触控。也就是说，当进行悬浮操作时，屏幕不支持多点触控。屏幕只能在接触触碰情况下实 现多点触控。
2.2Leap Motion手势操控
有了悬浮触控，还需要对手势的捕捉及感应。而Leap Motion [1]的传感器能捕捉到这三种运动信息：手指（及手持物）的运动、手掌的运动、手掌球（手的弧面模拟的球体，带有球心位置和半径信息）三种。另外，还可以通过两只手的相对运动生成平移、旋转和缩放信息。
2.2.1手指的运动
在只伸出一只手指的情况下，Leap 的捕捉信息相当精准。手指的一点点移动都能被迅速捕捉到。不过，伸出多个手指后，Leap 尽管对手指的捕捉依然非常精准，但经常会「跟丢」一些手指，即手指突然消失随后识别成一个新手指出现在屏幕上。尤其是手两端的拇指和小指。若不伸出手指，那么 Leap 是不会捕捉到运动信息的。若手指被手掌或其他手指挡住，也不会捕捉到的。
2.2.2手掌的运动
在 Motion Visualizer 里按一下 [n] ，即可标注手掌的运动：在这里，手掌平面以圆盘标出，圆盘上指向的箭头分别是手指方向的方向向量，与手掌方向的法向量。
手掌的运动也捕捉地比较准确。但有很大局限性。局限性之一是，手掌的倾角不能太大，大于 45 度效果就很差了。然后，手掌的法向量的正向被设置成始终指向Leap 传感器。如果手掌一开始在 Leap 传感器的右侧，保持手掌朝向不变缓缓移到左侧，Leap 识别的方向也会变成朝向原点（即 Leap 传感器自己的位置）一边。还有，人脸对此也会有干扰，会把人脸检测成一个不稳定的平面。所以用的时候，要注意脸离传感器的视野远一些。
2.2.3手掌球
手掌球随手掌的张开大小，半径发生变化。不过半径的变化范围比较有限，不能变得太小，也变不了太大。
LeapMotion 给了开发者一些编程范例，其中一个是检测两只手的相对位移，根据这个相对位移来平移、旋转、缩放这个网格：在这里，如果就是那样伸出两只手，效果一般。不过，如果两只手各伸出一只手指来操控的话，效果会好很多，平移、旋转、缩放都非常灵敏。
Leap 还有一个功能，就是在进行屏幕校准后，可以用手指隔空像激光笔一样模拟鼠标在屏幕上的运动（但不能点击，现在 Leap 仅供开发者测试、制作程序和游戏用），这个功能非常好用，也可以左右手各伸出一只手指来玩。不过还是那样，伸出多个手指后效果就差一些，经常有手指跟丢。
另外在强光直射下，Leap 的检测效果会变差一些。
2.3 触觉反馈
大的科技公司持续向VR和AR技术“砸钱”，但是仍然苦于这样一个问题：如何真实感受看到的物体？Ultrahaptics [2]是一家超声触感技术公司，就致力于研发虚拟触感技术，形象一点儿来说，相当于人的手在半空中划，就能操控各种界面。
Ultrahaptics宣布，公司正在研究使用超声波来构建空气中3D物体的技术。这个技术使用的40kHZ超声波能够穿透屏幕，让人的皮肤感觉像是在触摸物体。Ultrahaptics正在寻求使用这种技术来构建超越常规手持跟踪的“无接触式接口”，这项技术允许用户翻转隐形开关，并在空中转动拨盘，同时感受到触觉反馈。
超声波的“力度”反馈，也称为超声波触觉反馈，主要是通过超声波触觉脉冲或改变超声波的频率提供不同的触觉反馈和虚拟触觉的形状。超声波在压力之下会带来形状的改变，并且模拟出一种虚构的形状和力度，而这种压力则被称作“声发射力”。正是这种声发射力让我们的皮肤产生了触觉，而改变超声波的强度又可以让这种触觉产生更多的组合。
Ultrahaptics的核心设备是一款外设垫，能够发出40KHz频率的声音。但是这块外设垫需要放置在手的上方，通过调节超声波创造出物理触觉感，能够让用户体验到 " 边缘 "、"平面 " 等不同虚拟物体的触感。
Ultrahaptics希望他们的解决方案可以满足VR和AR行业的一些“触觉反馈”需求
当前虚拟现实所面临问题之一是，沉浸感还不足够。虽然视觉和音效可以让你感觉自己的确是身处于3D空间之中，但当你试图触摸虚拟物体时，这种沉浸感就会被打破。这也是为什么Ultrahaptics正在开发超声波触觉技术的原因，让你在半空中就能触摸到物体。
VR的目标是让你感觉自己身处另一个地方。越接近这种沉浸感，行业将越有可能实现Digi-Capital的预测：虚拟现实到2020年的产值将达到300亿美元。
总部设在英国布里斯托尔的Ultrahaptics是汤姆·卡特的心血结晶。担任技术总监的他在2009年就已经开始着手研究，当时他还在上大学。卡特把它当作是一个博士项目（几个星期前提交），然后他遇到了史蒂夫·克利夫。两人在2013年11月创办了一家公司，并提供了一个技术demo，通过发送至用户手指的超声波震动来触摸到物体。
卡特在接受GamesBeat的采访时表示：“我们可以发出超声波的扬声器。我们把扬声器声波集中在皮肤上。这时声波会提供足够大的力量让皮肤产生触觉。我们以不同的频率来振动皮肤，从而创造出不同的感觉。我们也可以设置和改变超声波，使它感觉像是不同的形状。”
Ultrahaptics可以让你在半空中触摸到物体。
这可以创建出一个力场，感觉就像是空气中存在的一个屏障。
Ultrahaptics一直在向开发商销售其评估套件，每套售价约为2万美元。从虚拟现实游戏工作室再到消费电子产品公司和基于位置的娱乐体验，该公司的用户群体十分广泛。其中一个令人惊讶的市场是汽车，汽车设计师正试图嵌入这种技术，让驾驶员无需分散注意力就能在仪表板上控制汽车功能。
大约80％的汽车制造商都拥有一个Ultrahaptics开发者套件。将Ultrahaptics技术引入汽车仪表板驱动程序中。这项技术可以用手势控制接口，传感器会检测驾驶员的手部动作，并通过超声波震动，给予驾驶员“触摸感”。每个按钮的功能是通过声波的频率来区分。该公司目前已经申请了大量的专利，而且没有直接的竞争对手。YiVian曾经报道的Taptical Hapitcs在控制器中使用了另一种触摸反馈，振动马达（手柄）。OmniWear则在研发触觉领圈，为用户提供游戏的触觉反馈。（通过手机摄像头获取游戏图像通过在不同部位的震动）
卡特解释说：“我一直对与电脑交互的方式感兴趣。我很讨厌糟糕的用户界面设计。在大学里面，我当时想在人机交互领域做一些事情。我发现有一位教授正在这方面做了一些很酷的东西。我们讨论了未来的发展趋势。当时iPhone刚推出，在你打字的时候不能感觉到按钮。你可以在黑莓手机上更快地键入内容。人们感觉到当你从按钮转到玻璃时，你就失去了触觉反馈。当时Kinect也推出了，并通过半空中的手势来实现操作，但你仍然不能感觉到任何触觉。”
于是卡特开始研究这项技术，并最终创办了一家公司。他说，一定程度上的超声波对人体无害，因为100％的超声波都会从你的皮肤表面反射回来。这个扬声器就像其他使用超声波的传感器，如汽车中的传感器，用于检测你距离物体的距离，以及用于打开自动门的传感器。
目前，Ultrahaptics还不能提供足够的阻力，它不能模拟出像桌子这样的固体感觉，你的手很容易就会穿过去。但卡特表示，该技术可以提供更多细微差别的感觉，重新创建各种纹理。克里夫说他可以提供蜘蛛在你手上奔跑的感觉。该技术现在所涵盖的范围大约为一米。
我可以预见到Ultrahaptics会与像Leap Motion这样的公司进行合作。Leap Motion可以让用户通过手势进行操作，但目前不能提供任何的触感。
3.主要成果论述
宝马在CES2017上发布了一款名为 BMW i VisionFuture Interaction的概念车，顾名思义，核心概念是未来交互。这是一块概念座舱，整合进了被传为黑科技的HoloActive Touch 技术。根据官方宣传的说法，HoloActive Touch 技术，可以完全通过手势控制来操作全景显示系统。
其核心就是手势操作。笔者曾在《隔空操作 光晕holo集成手势、AR和语音》中简要介绍过手势操作的优势。
让我们来看一下官方如何解释整个操作过程：显示——操控——反馈
1、显示：所有的信息均是通过仪表板里的投影仪发射出来的光线，经过微棱镜的二次反射，显示在投射到前排中央扶手前的半空中。当然，在不同的驾驶模式下，显示界面里虚拟触控功能的选项和数量有所不同。比如在高度自动驾驶的状态下，系统会显示更多的舒适、信息娱乐和通讯功能。
2、操控：由于没有实体载体，所有操作均是在空气中进行——手势控制。在这套系统里，一个高灵敏度摄像头负责捕捉驾驶员在可显示范围内的手势动作，尤其是指尖的活动方向。
3、反馈：因为是完全没有物理接触的交互，所以系统需要驾驶员在进行手势操作的时候实时给出反馈。这套反馈机制包括了声音和手指的压力反馈。触觉反馈的实现，依靠安装在座舱里的超声波设备实现。这个设备会向指尖发送脉冲信号，这样的话，手指就能感觉到轻微的压力。
在具体原理上，宝马将发射装置安在了中控屏位置，同时车内还安装了摄像头，以追踪司机的手部、记录下指尖的位置信息，检测它是否与全息投影相接触，为了使得这一效果更加逼真，宝马还为其配备了触觉反馈，并为具体按钮做了一定纹理设计。这一切都是为了让司机在没有直接物理接触的情况下完成操作。
HoloActive触控技术将会应用到宝马 ConnectedDrive 系统的云架构服务上，用户可通过该系统进行娱乐和通信等方面的操作。HoloActive Touch是宝马i Inside Future研究项目的一部分，据介绍，HoloActive Touch也会整合进抬头显示功能。
宝马这一技术或许来源于超声触感技术公司Ultrahaptics，其原理便是开发超声波触觉技术，这样人们在半空中做出相应滑动，就能有触摸到物体的感觉。
4. 结语
HoloActive Touch 技术在目前的科技上还无法全面实现，但是从很多地方我们都可以认为该技术的应用前景是非常广泛的，例如电影《钢铁侠》《环太平洋》中主角用的悬浮触控技术。不难发现如果该技术成熟将是科技发展的一大步。在工作中利用该技术，将大大提高人的工作效率，节省人的时间。
参 考 文 献
[1]网上的文献(Leap Motion手势：https://www.zhihu.com/question/20736440/answer/16017088)
[2]网上的文献(手势控制：https://wenku.baidu.com/view/d6d1a3efe009581b6bd9eb99.html)