上知乎时,看见很多关于人机交互的讨论总是集中在UX/UI或者人因工程上,而人机交互是一个宽度非常广的领域,里面有大量的工程以及数学物理。fitts law, 电梯按钮怎么设计只是HCI里面很容易被人接受的一块。
同时越来越多的marketing hype充斥在社交媒体上,各厂每隔一阵就出大招调戏媒体:
- 言deep learning必科普大脑处理信息的流程,
- 发布VR,AR产品通常就是一个marketing 视频,ps界面时连反光也不改一下,
- 宣布机器视觉结果时,一些基本的例子还没有做好,却挑出一些很难的失败例子强调败犹可荣。就像一个学生考完试不和别人说分数,却一直在说,你看我数学最后一道大题思路对了,只是小数点算错了。这语气让人以为他考了140分,事实上他只考了20分。
- ......
于是媒体报道,欢呼雀跃,说新时代已经到来。而作为工程师,知道每一个看似简单的科幻色彩,都还有很长的路要走。 i'm just sick of the marketing hype and doing something about it. 我想这是我最大的动力,把这些让人兴奋的研究和原理写出来。
从本科开始就特别喜欢台湾一个技术博客mmdays 的感觉。一帮志同道合的人给自己起名叫mr. monday, tuesday, wednesday....sunday (现在也多了好多mr./ms. 节日们),讨论科技,生活以及社会。里面的mr. monday 是一个从事hci研究的博士生,出于对很多研究员的敬佩,写了很多关于神猛hci研究员的文章。P.S. hci researcher都好帅气!
日本 UI 之神 – Takeo Igarashi
日本 UI 之神 – Takeo Igarashi – 研究的進行曲
Patrick Baudisch: 德國 UI 之神
美國 UI 超新星:Chris Harrison
彼时自己还奋斗在Information Retrieval里,第一次见到人机交互的研究,才知道研究可以这么有意思。后来机缘巧合下,也有机会工作在hci这个领域里。在研究的过程中,发现好多天才研究员的工作让人无法吝惜喜欢和敬佩。慢慢的,我也有了好多偶像,想去写写那些让我非常喜爱而敬佩的研究员。其实是打dota2被小学生虐,被迫放弃后觉得写作可以成为新爱好。
相比于mr. monday喜欢的都是大师,而我的偶像bar要低很多,常常有一篇文章一个观点击中我,软骨头的蝼蚁就跪舔了。提笔之时,脑子里闪过很多偶像,玩wii-remote的Johnny Lee,用multitouch改变世界的Jeff Han, 现场演示everyone love sketch把我击中的Seok-Hyung Bae,专心crowd computing的Michael Bernstein,还有全能的tovi grossman... 这个句式表示这些大牛都当分母了。我要先写Ivan Poupyrev,因为。。。。他的最好写!这是错觉....错觉.
记得几年前在msra做实习的时候,某次午饭,同事 zhimin 问 manager Hong Tan 什么样才是一个好的phd 研究?老大说, 不应该用论文数量或者引用数量来衡量,真正重要的是thesis。一个thesis要5年,而实际上发一些快的论文只要几个月甚至几周。5年的phd并不是用无数的短平快论文来堆砌,而是一个cohesive的theme,用5年时间做出一些之前不可能实现的东西(乱入:“因为我的存在,这个世界能有一点点不同” - 柯景腾)。 而Ivan Poupyrev就是 我所知道的 研究最cohesive的 研究员, 把一个简单问题玩出各种花样。
Ivan's research focuses on inventing new technologies and interaction paradigms that seamlessly blend digital and physical interactivity in devices, everyday objects, and living environments on a very large scale.
source: Ivan website
去年ifanr有个报道,天才交互设计师加盟,Moto 的下一步是? 虽然我觉得将ivan归为交互设计师还是有些勉强的,但是里面的总结很准确。
将很多目前与电子信息交互无太大关联的物体,如一堵墙、一张桌子、甚至是植物和空气,通过感知各种由触摸产生的电极反应,转化为能与数码设备产生通讯的媒介。
简练些,是 如何和普通物体交互。因为这个世界上不是所有物体通上电就能发光发热,摸下它就解锁让你玩弄。
Touché: Enhancing Touch Interaction on Humans, Screens, Liquids, and Everyday Objects. [CHI2012]
如何让普通物体也能“么么答”?
这张图解释了这篇论文的基本原理,当手碰到门把手的时候,电路中的电容发生了改变。笔记本上显示的是门把手在不同频率交流电通过时的电容变化。
义务教育里的物理告诉我们,人是导体,所以如果人体接触到门把手,门把手里面的电路检测到的电阻是发生变化的。这个想法并不新,这之前已经有很多相关的工作。Touché的厉害之处在于可以识别出多种手势体位。
要想在电上面玩出花样并不容易,因为人的皮肤是高度绝缘的,大约 ~1M Ω 电阻,所以不把人电死是电不出什么花样的。这篇论文绕开了电阻,而是在电容上做文章。iphone屏幕是最好的电容实例。当手摸到iPhone的屏幕上时,哪怕没有用力,手机也会识别出触摸;电话挂机后直接往兜里一放,不用管是否锁屏,因为光靠压力没有皮肤直接接触,就不会有误操作,原因就是因为电容屏的电容感应。
回到Touché,人体接触电路时,电容的变化受很多方面信息影响,一方面是接触方式,手是怎么握在把手上,脚是怎么接地的,有没有穿鞋等;另外一方面是频率,因为不一样频率的交流电,通过人体的路径是不一样的,以至于电容也会发生改变。
而这篇文章就是基于第二个性质去预测第一个性质。让交流电的频率不停变化,然后同时检测电容的变化。不一样的接触方式,电容变化的模式也不一样。下面的图中可以看到,不一样的接触方式,电容随着频率变化的变化也相应不一样。从这里就可以识别出手势的接触细节。
12年的siggraph,他们把同样的技术应用在植物上: 把家里的盆栽变成触摸屏一样可交互的产品。
听说很快就会在disney 乐园看到这样的项目。
Paper generators: harvesting energy from touching, rubbing and sliding. [UIST 2013]
如何和普通的纸进行电子化交互?
机械能转成电能在物理学上并不神奇,但是常见的能量转换都是通过电磁感应原理, 切割磁场产生电势差。利用电磁感应原理的发电机通常结构复杂,体积大。相比之下,这篇文章中的摩擦发电就显得特别有意思,整个发电设备就是几张纸片。
这篇文章找到了一种塑料薄膜叫做PTEE,按照百科的介绍,好像就是塑料袋的材料。当纸片和这种塑料薄膜摩擦时(图片a所示), 因为PTEE对电子的吸附能力不如纸张,纸张就会吸走电子,所以纸张就会带负电。整个过程就像是充电。之后当把一个可导的银薄片和PTEE放在一起,并放在靠近纸张的位置的时候,这个时候就形成了一个电容。
看到这里,理科生有木有想起特别眼熟的题目。
之后,当手不停的按下纸按钮时,上极板不停地上下移动,产生电流,点亮小灯泡。
Lumitrack: low cost, high precision, high speed tracking with projected m-sequences.
如何让傻傻的手电筒变得交互起来?
wii之所以可以track wii-remote 的移动是因为IR sensor, 而传统手电筒之类的设备input只有binary,亮或者不亮,不足以和电子系统产生交互。这篇文章通过应用不规则纹理,来定位手持projector的指向。
通过m-sequence产生的纹理能保证一定长度内的纹理是全局唯一的。所以当接收光线的摄像头,根据拍到的纹理,和预先知道的全局纹理,就能找到当前接收到的图像属于整个大投影的那一部分,相应的也就能推出手电筒在指向什么方向。
TeslaTouch: Electrovibration for Touch Surfaces
这篇文章相对而言更早一些,在网上搜的时候,也发现这篇文章已经有过很多的中文报道了。我想试着补充些非科普非hype的细节。
触摸屏革命性技术,TeslaTouch给你不同触觉
玻璃触控面板摸起来像砂纸 开拓新视界
迪士尼开发新触觉设备 虚拟现实世界更进一步
人体的触觉是由皮肤表面提供的,皮肤表面散布触点,触点的大小密度不同,但一般手指处的触点最多.这也是为什么很多人能用手指摸出麻将,很少有人能用屁股摸出来。
当你每天用手指在手机、平板的玻璃屏幕点来划去时,当许多人将未来的交互畅想为用手指在这些玻璃屏幕背后显示的界面上、甚至是空中操作时,你可能已经忘却了双手是我们最灵活敏感的身体延伸。
然而当我们与“玻璃下的图片”进行交互时,其实是以视觉作为反馈的唯一方式,正如同将麻醉剂注入双手,指尖对所有界面的触觉感受都别无二致——在这样的二维加视觉式的交互中,我们浪费了造物主赋予的两平米肌肤、两百个关节与六百块肌肉。而Haptics正是一门研究如何让每个人的触觉都能用于人机交互的前沿学科。
Haptics技术:在触屏上实现物理按钮效果
当电信号通过导电层,手指皮肤中将产生极性相反的感应电荷,手指与屏幕的摩擦力将受到这些感应电荷相互作用力的影响。这些额外的作用力微小,我们只能体会到摩擦力发生了改变,却并不能单独感受到它们的存在。配合对手指位置的精确感知,以及相应位置电信号强度的变化,将让我们产生接触表面的粗糙程度发生了改变的错觉。在teslatouch中,随着手指的移动,电信号的强度和相位也会相应发生变化,再产生不同的触感。