用户界面
用户界面
(2010-11-14 12:23:04)
标签： 校园 |
分类： 工作篇 |
有机界面研究的回顾与展望
演讲人：麻省理工学院计算机科学和人工智能研究中心主任 Victor Zue博士
会议：“二十一世纪的计算”大会 南京
我想跟大家谈一谈我们最近一直在做的有机界面方面的研究。在电脑语言生成方面，电脑不仅能够识别大量的词汇，而且还可以对词汇进行切分，可以拼合成"计算机科学"这样一个词，而且听起来非常的自然。但是，今天我们的系统，实际上你把它跟人的能力相比的话，它的表现还是不太理想的。在不同的语音环境当中，人可以识别出所有的语言和话语，如果你把人的表现跟电脑的表现相比，你就会发现，基本上还都是两个数量级的差异。这是我们很担心的，如何建立更加像人，更加完美的系统呢？今天我想给大家提供一个更加独特的视角，它将使我们的电脑发生新的变革。
我们在建立这个系统的时候会考虑它是否可以有认知能力，就像一个生命体一样的生存。它们可以观察、可以生长，可以自我疗伤，就是所谓的认知计算，有机计算。过去我们只是关注独立的应用，现在电脑的应用可以说是越来越多地和人产生互动了。过去我们都是二进制，非对即错，非黑即白。但是，现在我们可能就不一定知道什么是错是对，我们就必须在多重的标准下做一个取舍。因此，现在的问题对电脑系统来说，所运作的环境充满各种不确定性，人类的行为我们也不能充分解读。有时候我们要处理片面信息，又要得出比较好的解决方案，我们就不得不依赖计算机的学习技术，以及概率技术。
什么叫有机计算？简而言之，就是它所处理的系统（包括软件和硬件），可以观察自己运行时的行为，而且随着时间的推移，基于自己的观察做出改变。那么在这个过程中，有一些特点，可能是以目标为导向的，就是你告诉电脑你要做什么，电脑就会做出改变，他必须要会观察自己，要弄清楚现在在做什么，以及你的目标和他的状况的差距，同时尽量通过自己的适应来减少差距，最后还要采取行动，这个系统必须要可以自我修补。有机系统必须具有一定的属性，这样的系统必须是充满活力的，能够适应环境中发生的变化。另外这种系统必须有学习的能力，但是他要具有学习的能力，他就必须有能力能够观察自己，要能够了解他所处的这个环境发生了变化。同时他要对自己周遭的环境有意识，同时通过自己的经验教训学习，但是他要不断地调整自己，基于自己的观察来调整自己。电脑的学习，电脑的自我调节，以及对环境的观察，就是我们有机系统的实质。
另外，我要简单地谈一谈视频共生的应用。人在沟通中有视觉和听觉两种渠道，你可以用这两个方面做很多事情，比如说我看一个人的脸，我就认识这个人；我听他的声音，可以知道他是谁；甚至基于他走路的样子，我也可以认出他来。那么我们要做的是，你要认出一个人，你可以通过语音或者视觉；你要了解他话的意思，可以通过看他的口形等。另外我们还有一些面部表情，还有用声调表示语言之外的感情，所以要建立这么多的界面，把所有的东西整合起来。比如，要登录一个系统的时候，通过某人的头像和声音来识别，只有两者吻合才可以登陆系统，如果这人的脸和他的声音不能同时满足的话，他就无法登陆这个系统。当然你还可以把我们的语言和视觉的信息整合起来，而且在非常嘈杂的环境当中实现我们的识别。
总的来说，我们在有机界面上已经取得了很大的进展。人机界面是一种具有有机行为能力的生物体，它可以观察、可以学习、可以成长，也可以治愈。我们还有很多没有完成的挑战，期待着在座的学生们一起去克服它们。
全新自然用户界面
微软研究院Desney Tan博士在2010年微软技术节上展示”空中弹奏吉他”项目
信息技术发展的速度令人目眩，过去的5年就是个很好的例子：2005年，在线视频对许多人来说都还是一种羸弱不堪、断断续续、令人懊恼的体验。那时，一种名为MySpace的新型社交网站刚刚开始兴风作浪，“Twitter”这个词的意思也还仅仅是指鸟的叫声。
5年，就像一辈子那么长。
那么未来的五年将为我们带来什么？今天的创新者都在试图寻找答案，而且没有地方比微软研究院更甚——在这里，设想未来5年或10年之后的事情就是工作描述的一部分。
但有一点是肯定的：再过几年，我们将会有享有更新奇、更先进的计算机交互技术。新的用户界面——利用手势、机器推断、情境意识以及丰富的3-D环境（无论是真实的还是虚拟的）往往都能让你身临其境，并将会使计算变得更简单、更令人向往，而且越来越直观。科技将不仅为人们提供工具，更将用先前不可思议的自然、无缝的方式提高人们的生活质量。
2010年的微软技术节（TechFest）是微软研究院一年一度展示计算机科学技术革命的窗口，几项旨在促成技术转化的项目在这里与观众见面。3月3日和4日，数千名微软员工将有机会观看研究展示、与有关人员交谈，并设法将其纳入可供全球数百万人使用的新产品。
其中的一个项目就试图将人体自身转变为用户界面，下面将对这一项目进行简要介绍。
人体计算
“人类的进化已经相当成熟，可以用非常复杂的方式与环境和他人沟通”，微软雷德蒙研究院商业娱乐的可视化与交互（Visualization and Interaction for Business and Entertainment, VIBE）研究组的高级研究员(同时也是微软亚洲研究院人机交互组主任研究员)Desney Tan博士说：“但不幸的是，我们目前使用的大多数电脑输入设备，如鼠标、键盘等，只利用了此类潜力中的极少一部分，而它们所提供的沟通渠道原本可以更加丰富。”
至少目前是这样。Tan和VIBE的计算用户体验（Computational User Experiences, CUE）小组的同事以及微软其他部门的研究员一道，正在努力开发自然用户界面来缩小这种差距。语音技术、微软Surface(Microsoft Surface) 和Natal计划等领域的工作为我们提供了一个窗口，使得我们能够一窥融入传感技术的计算机将如何开创人机互动新纪元，尽管如此，Desney仍然坚持认为，相对于这一领域所蕴含的巨大潜能来说，他们所作的努力不过是皮毛而已。
“我们的目标是进一步拓展，并向用户提供可移动的自然用户界面，”他在在微软技术节上演示的项目时说，“具体来讲，通过使身体成为输入设备，我们希望创造某种技术，使我们能够与‘随时随地可用的计算’之间建立更深刻的联系。”
Desney将演示的项目叫做“带有生理感知的自然用户界面（Natural User Interfaces with Physiological Sensing）”。演示分为两部分。一个部分利用肌电图来感知肌肉的电流活动，以推断手指动作；第二个部分使用生物声学传感器（bio-acoustic sensors），来检测人体的能量传输，从而将人体转化为一个“基于击键动作的输入设备”（tap-based input device）。这两个部分都可以用一个佩戴在前臂上端的简单臂环来实现，从而向计算设备发出无线信号。
佩戴于前臂上端的简单臂环能够检测到肌肉活动以及生物声学信息，
为人与技术设备互动提供了一条新的途径
传统的鼠标和键盘等输入设备采用的是物理变换器，通过手掌和手指本身具有的灵巧性使得输入得以实现。而肌肉-计算机界面（muscle-computer interface）则使通过佩戴于前臂上端的一圈传感器收集肌肉信号，再通过肌电信号识别器解读手势动作，从而能够识别手掌和手指点击在皮肤上的信号。
在2009年美国计算机协会用户界面软件与技术研讨会上发表了一篇论文，题为《利用肌肉计算机界面，实现随时随地可用的输入（Enabling Always-Available Input with Muscle- Computer Interfaces）》，Desney与来自华盛顿大学计算机科学与工程系的T. Scott Saponas和James A. Landay，CUE的Dan Morris，微软公司的Jim Turner，和多伦多大学计算机科学系的Ravin Balakrishnan一道，探讨了在人们无法使用物理设备的情况下（例如正在搬运重物或腾不出手来的时候），如何实现与技术互动。
一个安装了投影仪的臂环直接将用户界面投射到了用户的手腕上
另一篇文章题为《皮肤输入：将身体挪用做输入表面（Skinput: Appropriating the Body as an Input Surface）》，Desney, Morris和来自卡内基梅隆大学人机交互研究所的Chris Harrison描述了手指敲击和皮肤如何产生有用的声学信号，以及安装在臂环内的生物声传感阵列如何能够“听到”来自身体不同部分、声学特征各异的信号，并对其强度加以分类。这种臂环也可以纳入一只投影器械，将动态图形用户界面显示在用户的手腕等部位。
这些进步能够给生活带来何种变化呢？Desney给出了几个现实生活中的例子。
“还记得手机出现之前的一段时间吗？那时你不得不打无数个电话，才能把几个朋友聚在一起去看电影。”他说：“即使在最近你也许有过类似的经历——是否记得，你坐在酒吧里与人为‘到底有多少个职业橄榄球名将出生在西雅图’这个问题争论不休，却无法从维基百科上核实信息。”
“就像手机和移动计算改变了我们运转世界的方式一样，‘静脉计算’这样的愿景也将彻底改变我们对计算机的使用和依赖。”
2007年，《技术评论（Technology Review）》期刊将Desney评为35岁以下青年创新者（Young Innovators Under 35）之一，以嘉奖他在在基于身体的计算方面所作出的努力，而这些努力将能够逐渐改善日渐忙碌的人们的生活质量。
“试想一下，当你在大街上与人擦肩而过时，就能够在无形之中知道他们的姓名或他们孩子的生日，”他说，“你身处异国，却能在看到一家外国餐馆时立刻得知它的译名，也能毫不费力了解人们对这家餐馆的评价；这样，你甚至可以通过不断使自己在两个不同语言的世界往返来学习一门新的语言。当然，你也可以登堂入室，获取关于即将享用的食物的信息——它从何而来，谁曾与它接触，它是否有益于健康等等。”
“毫不夸张地说，我们试图把世界上所有的知识和计算都放在你的指尖上。”
英文原文：New, Natural User Interfaces
更自然的人机交互——2010微软技术节现场
2010年微软技术节(TechFest 2010)公开日于3月2日在美国总部举行，微软技术节是微软研究院年度内最大的技术展示活动，今年共有来自全球各大微软研究院的150多个项目齐聚一堂，接受微软内部产品部门的“检阅”。与往年一样，微软亚洲研究院的技术依然是这次技术节的重要组成部分，有36个项目被选定在这次技术节上展示，所涉领域涵盖自然用户界面、语音识别、自然语言处理与机器翻译和搜索等领域。下面让我们一起来看看微软亚洲研究院在本次技术节上的精彩亮相吧！
移动3维交互场(Mobile Surface)
智能触控技术为移动计算提供了一个新的人机交互界面。移动3维交互场(Mobile Surface)通过使用摄像投影传感系统能够将任意的，比如办公桌面、餐台、茶几等表面或一张普通的纸变成可触控的平台，从而让用户能够在移动设备，如手机上，体会到和微软Surface类似的智能触控体验，而且这项技术在平面多点智能触控的基础上，还能够为移动设备提供3D空间的自然交互。比如用户将手机的内容投影到任意桌面，可以触控或3D的手势实现交互操作。而且这个系统还能实时捕获放入投影区域物体表面的数据模型，从而为增强现实应用提供了支持平台。移动自然交互“面”能够为手机/移动设备提供一个自然的交互平台，可以使你随时随地的与你身边的数字信息进行自然交互。
这是在技术节现场搭建的表面触控平台，从画面上可以看到有两只鼓投影在了桌面上。用户可以拿着鼓棒直接在空中或者表面敲打，后面的小屏幕会马上重现你的整个演奏的乐点。
一个摄像头、一个投影仪就可以在桌面上打起虚拟的鼓来。如果你觉得拿着鼓棒敲击麻烦，你也可以直接用手去敲打。
置身云端——全新云计算交互体验(Inside cloud: new interaction for cloud computing)
云计算开启了新型交互时代，云计算的强大能力让用户可以随时随地的访问他们的个人数据，可以尽情享用丰富多彩的新型网络服务，也给了用户更大的空间和能力在信息时代更自由的遨游。“置身云端”研究项目在探讨新型云计算交互体验，包括新型交互设备——“云”鼠标，信息组织形式——“云”界面。
每个人都会有一片属于自己的云，有一个自己的“云”鼠标，它是通向个人云端的钥匙，同时它又是一个拥有6个自由度、触控反馈体验的自然交互设备。“云”界面在现有的二维界面的基础上增加时间、空间维度，将用户纷繁复杂的信息有机的整理在一起，并以更自然的方式呈现。“云”鼠标结合新的自然的“云”界面，用户如身处云端，沉浸在个性化、智能化、有组织的个人信息数据和浩瀚的网络数据与应用之中。所有的对象漂浮在空中，用户可以使用云鼠标在其中轻松的漫游，自然的交互。
同声传译电话(T3:The Translating! Telephone)
这是一个能同声传译电话的系统。道格拉斯·亚当斯的巴别鱼激发了构建无拘无束的通用通讯的梦想。虽然我们还远未实现这一目标，但是目前有限的精确度仍能在许多场景创造价值。我们在电话通话场景中的目标就是在没有其他通信手段存在的条件下，提供一个跨语言沟通的辅助工具。该系统充分使用了说话人自适应技术，以达到合理的实时语音到文字转录的准确性。然后，又通过机器翻译来提供语音到文本的翻译，并进一步利用文语转换系统来最终实现语音到语音的翻译。识别文字和翻译文本都会显示给用户，使他们能够验证他们的意图。我们将用一个德语和英语的现场会话来演示这个系统。
肌肉运动"指挥"计算机(Input with Muscle-Computer Interfaces)
微软公司一直致力于研究利用传感器等元件来实现新颖的并具有较强交互感的物理设备。微软亚洲研究院的人机交互组负责人Desney Tan博士展示了一项最新技术——将手臂的运动直接作为鼠标来使用——依赖于肌肉的运动和变化来“指挥”计算机进行各式各样的交互体验。只要在手臂上戴上传感器，可以“握”着电脑中的吉他自如地弹奏起来。在空中轻轻挥动手指，计算机便可以跟踪运动手指的轨迹……等等。读者们可以看一看《西雅图时报》记者关于这项技术拍摄的现场视频。
更多2010TechFest的内容，请浏览http://research.microsoft.com/en-us/events/techfest2010/default.aspx
本文图片均由美国摄影师Brandon Casazza拍摄和提供
人机交互：让IT技术融入社会生活
哈佛大学Chia Shen教授展示的人机交互新界面
人机交互(Human-Computer Interaction, HCI)研究在计算机领域乃至整个人类社会中扮演着越来越重要的角色。3月15日和16日，微软亚洲研究院、人机交互学会中国分会、中国计算机学会及清华大学共同举办了为期两天的2010中国人机交互研讨会与杰出学者系列讲座（2010 China Symposium on Human Computer Interaction），旨在让中国人机交互研究机构汇聚一堂，向人机交互学者与学生展现当前国内外的领先研究，同时促使机构成员之间建立研究联系、加强学术交流。
这次研讨会共邀请10位国内外人机交互领域的知名学者各进行1小时的专题报告与讨论，分享各自所在领域的研究与成果。此外，会议还组织4场特别兴趣小组讨论，与现场听众进行沟通互动，深入探讨人机交互如何融入现代社会生活。部分专题报告内容如下：
健康、教育、节能与IT
加州大学伯克利分校John Canny教授设计了一款特别的手机，它可以帮助印度儿童在日常生活和玩耍中学习英语，也能通过实施互动式产妇保健项目来提高新生儿健康水平，并通过说服性界面帮助人们兑现自己减少能源消耗的承诺。他的设计利用人们行为中对话、叙述和社会环境的作用，使得人机交互类似于社会群体中人与人之间的互动，有效地影响人们的生活习惯。
个人简历：http://www.eecs.berkeley.edu/~jfc/
创新思维的设计工具
斯坦福大学Scott Klemmer教授设计了一种创新思维的设计工具，试图将其引入人机交互领域，让设计过程与计算机科学、心理学、社会学邂逅，将手机、电脑、网络和传感系统平台融为一体，从而最大程度地激发设计师的灵感。“怎样用四条直线连接三行平行分布的九个点？”——具有突破固有框架、进行创新思维的人才能迅速回答这个问题。这一全新模式的设计工具让专家级设计师更具创造性，让程序员能够拥有更丰富的设计思维，让用户展现交互行为、抽取现有设计元素，以创造新的设计，实现创造和设计评价的紧密结合。
个人简历：http://hci.stanford.edu/srk/
视频链接：http://academicearth.org/lectures/designing-interactions-that-combine-pen-paper-and-pc
多点触摸时代的到来
哈佛大学Chia Shen主任关注多点触摸在人机交互领域中的应用，她领导的科学发现空间实验室将多点触摸桌面与大型数据显示墙相结合，应用于生物分类知识的学习和医疗记录等过程中。在研究者的努力下，多点触摸桌面和壁挂显示器已经从各个孤立实验室中的原型逐渐演变成为可商用的产品。目前，海量在线科学数据在面向大众的科学知识传播中发挥着日益重要的作用，卷入式触摸和互动界面给非正式的学习过程也将带来巨大益处。
个人简历：http://iic.harvard.edu/user/chia-shen
动态图片：http://sdr.seas.harvard.edu/
让计算远离桌面，融入生活
微软亚洲研究院访问学者 、华盛顿大学教授James Landay设计的交互式显示器可以用来密切关注老年人的日常生活情况，也可以用来形象地展示和分享有关人类对环境影响的相关信息。当今世界，移动传感器、网络和显示设备正以移动电话的形式在全球各地大行其道，从而促成了与用户的物理世界相融的新应用浪潮。在无处不在的计算之外，这些应用的一个共同特点在于它们都支持一些发生在多种环境下的长期社会过程的活动，这些活动需要复杂计算和传感器数据推断技术的支持。然而，普适计算的前景尚未变成现实，主要原因在于我们理解活动机理时受到了方法、设计和工具的限制。
个人简历：http://www.cs.washington.edu/homes/landay/
人机交互走向社会视角
微软研究院人机交互研究领域经理Mary Czerwinsk博士带领的团队记录、收集和可视化数据的能力日益成熟，他们探索个人行为和群体行为的模式并对其趋势进行分析，从而利用先进技术发展来确保新设计的工具能够提高生产力、洞察力以及用户的控制感。当今世界，信息技术人员需要轻松处理干扰、完成多重任务，以及在强大压力下了解海量信息。未来多种便携式感知能力设备，可以确保人们在任何时间、地点都能与多人进行可靠沟通和信息传输。
个人简历：http://research.microsoft.com/en-us/people/marycz/
从人机交互走向人机整合
东京大学索尼计算机科学实验室Jun Rekimoto教授设计了一种佩戴式眼镜感知设备，它能够增强我们的理解和记忆能力；通过基于功能性的电刺激，可以对人的手部运动进行控制；通过让小猫佩戴感受器与摄像头，可以完善人与动物之间的互动……这些人机整合的设备都将提高与挑战人类能力的各种可能性。随着技术进步，提高、增强、“重新设计”人类的想法已成为一个严肃的研究课题。人机交互的范式在发生转变：从人类-计算互动转向人机整合。
个人简历：http://www.sonycsl.co.jp/IL/members/rekimoto/index.html
洪小文院长展示的微软研究院人机交互图形处理新技术
正如微软亚洲研究院洪小文院长在会议中所述：人机交互给信息产业带来了巨大影响，在宏观层面上，人机交互是许多跨组织、多学科合作和创新的催化剂，人机交互和其他学科之间的通力合作变得越来越重要，能够帮助社会解决那些最具影响力和最关键的问题。微软亚洲研究院目前正在开展的云计算、图片处理系统等几个项目中都充分重视了人机交互的重要意义，人机交互让IT技术融合了日常的社会生活之中。
2010年，北京各重点人机交互研究机构还将所轮流举行七至十场专题演讲，期待大家的关注与参与！
让遥控器遍布全身
动动手指就能打开汽车后备箱，动动舌头就能让轮椅随意在院子中驰骋，隐形眼镜能随时把最新的资讯和信息推送到你眼前，这些看似只有在科幻片中的场景正在微软的实验室中逐一被实现。
人与电脑等机器和设备如何能进行更好的沟通，一直是技术工程师们在努力研究的问题。随着互联网的发展，硬
件的性能和软件的功能都在突飞猛进的发展，而作为现在人与电脑最重要的沟通工具，键盘和鼠标已经很多年没有实质性的技术突破，这已经与硬件和软件的发展速度严重脱节，不过这一状况在不远的将来有望得到改善。最近，CHIP再次走进了微软亚洲研究院，采访了HCI（人机交互）部门的Desney Tan和赵晨，为大家挖掘出了最新的，十分酷炫的人机交换技术。
用肌肉打开后备箱
你可曾想过当双手在忙于处理一些事情的时候如何才能控制电脑？比如说你双手提着篮子，这时又想把汽车的后备箱打开。要实现这一目标我们并不需要在脑袋上罩个感应脑电波的设备，其实人体有很多可以输出信号的方式，这些方式都比获取脑电波更加方便和准确。
研究人员发现，当我们动手指或者晃动手腕时，肌肉都会运动，而通过感应和翻译这些肌肉运动就可以实现对机
器的控制，因此他们设计了肌肉计算产品。目前，他们已经设计出了样品，这个样品已经可以连接到电脑上，来控制一些类似Guitar Hero（吉他英雄）的游戏，只需要移动某个手指或摆动手腕就可以模拟出弹吉他的压弦或拨弦的动作。
当我们的大脑需要进行一些动作时，会发信号给肌肉，而肌肉在进行相应的动作时就会产生电信号，这个电信号的强度要高于脑部的电信号，因此也比脑部信号更容易捕捉。微软的专家们设计的肌肉计算产品是一个包含了12个电信号传感器的臂带，将这个臂带绑在手臂上之后，只需要经过一次简单的校准就可以使用。目前的肌肉计算臂带能够感应到大部分手部的大幅度动作，比如拇指与其他四指分别捏在一起的动作，手腕上下左右摆动的动作等。
如何准确地判断每个手指的动作是这项技术最大的难点，优化感应和判别的算法，避免出现误判的情况。另外
,并不是每个手指都只与单一的肌肉相连接，需要判断一组肌肉的运动才能识别一个手势。另外，由于电信号感应器绑在皮肤上方，而肌肉在皮肤下方，皮肤的阻隔会影响识别的准确率。为了解决这些问题，微软研究院的研究员们采用机器学习的方式，不断地优化算法，进行识别和校准。在设计这个产品方面微软研究院的研究员也动了很多心思，例如让用户精准地将每个传感器都对准相应的肌肉是很困难的，所以他们将臂带中的传感器设计成环状，用户绑好后只需要连接电脑并根据提示动几下手指，即可将肌肉与环状传感器中合适的某个传感器对应起来。
目前，最新肌肉计算臂带采用的数据分析芯片十分小巧，只有7mm×7mm，再配合传感器、电池和Wi-Fi模块，可以通过无线的方式与电脑或其他电子设备相连。在保证臂带体积合理的情况下，通过电池供电它已经可以工作4个小时，这个工作时间是在未对产品进行耗电优化的情况下得出的，例如传感器无论是否有信号输出都处于工作状态，微软的研究人员正在尝试对它进行优化，以实现只有在有数据传输的时候才开启传感器，没有时则关闭传感器以节电。
当然，这种技术并非只能用于采集手臂的肌肉信号上，只要是有肌肉的地方这项技术都可以发挥作用，如果有需要，你弯腰、踢腿甚至动动脚趾都可以被识别成一种控制命令。微软内部已经针对这一技术展开了部门间的合作，例如他们正尝试将这一技术与微软的Surface产品结合，这样你在操作Surface这个互动桌面的时候就可以脱离触摸屏这个平面了，你将可以把桌面中的物体从桌面中拿出来或再扔回去。
把皮肤变成触摸屏
皮肤也能变成按键，现在微软研究院的研究员们正在努力将人的皮肤变成一个超大的触摸屏。
这种被微软研究员称为皮肤输入的技术目前也已经有了样品，这个产品与肌肉计算的产品在结构上类似，也采用了臂带的形式，将臂带绑在手臂上后，点击手臂皮肤的不同位置即可发出不同的操作命令。在微软的演示样品中，采用绑在大臂上的微型投影机在小臂的皮肤上投影出一幅影像，比如一个手机的拨号键盘，之后只需用手指点击这个画面中的按键，肌肉计算臂带就可以感应到并将它翻译成相应的按键输入动作。
这个技术采用了类似波震动传导能量的原理，当我们点击身体的皮肤时，使用高速摄像机进行拍摄，并对拍摄的
画面进行慢动作回放时，可以看到点击皮肤的能量像水波一样向周围扩散和传导。而使用震动传感器进行分析这些皮肤震动时可以发现，点击手臂皮肤不同的位置时，返回的震动波是不同的，通过特殊的算法进行分析，即可对点击的位置进行定位。
虽然从原理上理解这个技术并不复杂，但是实际上在实现时同样会遇到很多问题。首先，用手指点击皮肤同一位置的力量、角度不同，产生的波都会有所不同，所以需要对胳膊进行建模，然后再不断完善算法才可以提高点击的识别率。另外，目前的技术仍旧不允许感应模块距离点击位置太远，因为在波的传递过程中，通过关节等地方时会被明显削弱。目前的皮肤输入原型样品采用了10个尺寸不同的传感器来感应不同频次的震动波，而未来很多使用硬件感应不同频次波的工作都可以借助软件计算的方式来完成，这样能够让感应臂带的体积更小，传感器也可以用的更少。
现在使用微型投影机在小臂投出20个按键，已经完全都可以被准确识别，也就是说目前这种皮肤输入技术的分辨能力已经可以区分出1cm~1.5cm距离以上的点击操作。与肌肉计算的技术原型类似，皮肤输入产品在每次使用前也需要进行校正，微软研究院的研究员们正在尝试将投影机、摄像头与皮肤输入产品结合，以实现自动位置感应和校准，这样以后在佩戴时就无需再进行校正操作了。
还有一件有趣的事，就是人体肥胖的程度会对这种波的传输产生干扰，在比较胖的时候，传输的信号会被削弱，不过实际测试后表明，即使是非常胖的人使用这个传感器，同样可以正常工作，只是工作的效果会打折扣，看来要想更好地使用这种未来的人机交互设备，首先要做的就是控制体重。
除了在皮肤上进行点击外，皮肤输入技术同样可以实现类似肌肉计算技术的功能，比如将两个手指捏在一起的动作同样可以被皮肤输入技术识别。微软研究院的研究员也正在尝试将这两个技术整合到同一条臂带中，以实现更全面的功能，另外他们还将在未来在臂带中嵌入加速器感应器，这样在运动时可以得到更好的感应效果。
用舌头驾驭轮椅
利用人体的不同部位来传达人机交互信号可以更好地帮助肢体不健全的残疾人。例如一个瘫痪的病人，即使全身都无法动弹但仍旧有可能控制自己的舌头，因此大部分全身瘫痪的人都可以正常说话。而人对自己的舌头有很强的控制力，用来传达人机交换的信号再合适不过。
为此，微软研究院的研究员展开了舌头计算项目，这个项目的工作原理相对简单，通过在嘴内安装一个包含4个（前后左右各一个）光学传感器的感应模块来感应舌头的动作，4个光学传感器可以检测舌头到特定位置的距离，进而可以将动舌头的行为翻译成某种控制机器设备的动作。目前使用这种控制工具已经可以连接电脑玩俄罗斯方块，或者控制一个轮椅缓慢的行进。舌头计算项目的原型产品体积跟舌头的大小类似，采用内置电池供电，可以工作约3小时，并使用蓝牙技术与电脑等设备进行无线数据传输。未来通过优化后，这个产品的功耗将更低，体积也可以做到更小，甚至可以直接通过在牙上打洞的方式进行安装。目前这款原型产品已经可以感应4~8个动作，准确率能够达到95%。
微软研究院的研究员希望将来可以为这款产品加入更多的传感器，以感应更多舌头的动作，他们希望这款产品在未来能够直接感应出人想说的话。使用者无需发出声音，传感器只需要通过感应舌头的运动和口型的变化就可以知道他想说的话，这将改善很多病人的语言功能障碍问题。
装在眼睛里的显示器
人机交互包含两方面内容，一方面是如何更好地将信息发送给电脑等机器设备，另一方面就是如何将信息传输出
来，而输出方面的技术发展相对较快，眼镜显示器和手掌大小的投影机都已经出现，而微软研究院的研究员们并不甘于在原有的显示产品上继续优化，他们认为这方面的技术研究可以从最难的开始着手，因此他们开始研发隐形眼镜显示技术，他们认为一旦这个技术能够研发成功，其他问题也就随之迎刃而解了。
我们在微软亚洲研究院的会议室中见到了被称为仿生隐形眼镜的产品，这个已经是6个月前的模型产品与我们日常佩戴的隐形眼镜在尺寸上没有任何区别，甚至还有只能覆盖瞳孔的小隐形眼镜。虽然内嵌了LED灯和感应线圈，但它仍旧采用了类似现在隐形眼镜的柔性材质。如果不是亲眼所见，你很难想象这个厚度只有0.001mm的薄片上会遍布发光的LED灯和各种线路。
这一技术目前仍旧处于初级阶段，与上边的其他几项技术相比这项技术所面临的难题更多，首先就是加工难度，要在这么薄的一个柔性物体上制作发光体非常困难。目前微软是与华盛顿大学合作，由他们的一个特别实验室来制作。而目前也只能在隐形眼镜上制作红色LED，由于蓝色和绿色的发光模块体积较大，还暂时无法放到隐形眼镜片上。如果说攻克工艺难关还只是时间的问题，那么发热量则是更难于解决的问题，目前最新的仿生隐形眼镜产品已经可以实现16×16的点阵显示，这并不是因为技术限制无法继续增加像素，而是因为再大的话产品的发热量会过高，超过人眼所能承受的范围。另外，由于隐形眼镜是紧紧贴在眼球上的，所以要让人眼能聚焦到隐形眼镜上显示的内容并不容易，目前通过模拟人眼结构来进行这个隐形眼镜产品的显示测试，结果也并不算非常好，测试时显示的一个字母E仍旧比较模糊。最后一个问题是供电，这么小的产品上是无法附加电池的，因此仿生隐形眼镜必须采用无线供电，目前微软研究员采用的无线供电方案类似我们目前使用的公交卡，通过电磁感应原理，使隐形眼镜上的线圈产生电流，通过控制输出的功率，隐形眼镜上的LED亮度可以进行调整，但是无论怎样都需要有一个供电的发射端，而这个发射端并不能距离隐形眼镜太远，比较理想的方案是放置在眼镜框中，但是这样做无疑让仿生隐形眼镜的便携和隐形魅力大打折扣。未来，微软研究院的研究员们希望可以将显示用的LED小型化，移到隐形眼镜的边缘，以减少对眼睛观看外面景物的干扰。另外，这个产品由于可以直接接触到眼泪，还可以收集到一些医学上的信息，在加入传感器后还可以帮助有眼疾的患者随时监控眼睛的状况。总的来说，仿生隐形眼镜还面临着很多需要解决的技术难题，在短时间内具备实用价值的产品还很难出现，但是这种技术一旦研发成功，将有可能从根本上改变我们目前人机交互的模式。
交互界面的心理学
（心理学提供了关于人类认知基本规律的重要的知识，在人机交互中具有非常重要的意义。微软亚洲研究院人机交互组赵晨博士在这里倾情分享此方面的研究心得。——编者按）
人机交互并非只是不断改进操作电脑或其他电子设备的输入或输出设备，很大程度上需要首先考虑设计一个容易被用户所接受的界面，而什么样的界面更容易使用实际上又涉及到人类的心理问题，只有符合人类心理的正常规律，设计出来的界面可用性才更强。因此在设计人机交互界面时，需要考虑到两个方面，一个是人类对界面的感知，人类怎么去识别界面是最基本的，例如界面中的容错和提醒功能就非常重要，它们可以保证人类对交互界面有准确的理解。另外人机交互界面必须是一个并环的系统，比如一个按键的操作，在我们按下键后机器需要告诉用户已经按了这个键，如按下手机按键会有声音或震动的反馈提醒。
而微软很早之前就在进行人机交互界面的系统化研究，例如Word 
2003这一款产品就至少进行8000个小时的可用性测试。我们会设法让Office和Windows Live等产品在大家使用的时候不需要再花很多时间去学习，这就说明这些产品已经拥有了不错的用户体验。提高用户体验是我们研发产品的目标，而产品的可用性则是我们研发产品的指标，它就像系统的稳定性一样重要，只有达到了可用性指标产品才能面世。
微软亚洲研究院在人机交互心理方面最新的研究性产品就是企业内部的社交网络，他们希望企业内部社交网络可以给企业员工提供更好的信息分享平台，能够提高企业的运转效率。微软研究院的研究员之所以以此为研究方向是因为现在并没有一个针对企业的社交网络，而在企业环境中社交网络的需求又与互联网上的不同，企业社交网络的功能性需求相对较多，例如借助社交网络认识一些人，可以使办一些事情变得更方便等。另外，社交网络毕竟是一个相对轻松的环境，以往在企业内部人与人的交往和互动相对困难，他们往往使用邮件、电话甚至面对面开会等十分正式的方式。而企业社交网络实际上可以降低人们相互交流的门槛，只要使用得当可以增加员工间的非正式交流，提高企业整体的工作效率。
0
顶
| 已投稿到： |
排行榜
|
|---|