交互媒体前沿技术学习心得

交互媒体设计前沿技术学习心得

我们小组翻译的论文的主题是角膜成像，由于角膜成像（并且在可预见的将来仍是）是一个生态位主题，可能会出现以下问题：它是什么？我对此感兴趣吗？我应该了解它吗？我如何了解它？因此，本文传递了这个主题的背景信息，以帮助潜在读者找到他们各自的答案，并有效地访问这些信息。

从2000年代初开始，该领域已经从一开始对可能发生的事情进行不那么认真的调查，到进行概念证明工作，再发展到健壮的实际实现和实际应用。除了其日益重要的意义外，这是一个高度跨学科的主题，涉及到各种不同的领域，因此本文列出的清单并不是详尽无遗的：

人机交互(人类感知；人脸跟踪；眼睛跟踪；视点跟踪；人类意图识别；辅助系统)；

计算机视觉（面部/面部特征跟踪；面部重建；折反射成像；图像增强；图像配准；结构化光；照明建模；
场景重建；场景 /上下文识别)；

计算机图形学(眼/脸建模；场景照明和重绘)；

取证(人脸图像采集的场景背景、位置和时间估计；视觉媒体中的伪造检测)；

增强/虚拟现实（头戴式/平视显示器的校准）；

生物特征识别(虹膜识别；人脸识别)；

解剖学和医学(眼解剖学；眼结构的外观、形状和动力学的计算建模；高质量的眼成像)；

心理学(从瞳孔反应中估计认知负荷；从场景和面部意象进行刺激-反应分析；人类从低质量的图像中识别面孔、情感和兴趣的能力)。

这里主要谈谈我对生活中与角膜成像有关应用技术的了解。

首先是眼球跟踪技术，又叫做“人眼追踪”，顾名思义就是用摄像机等设备跟踪目光移动的技术，与此同时可以被用来记录用户观察位置。建立在了解人眼的形状和参数分布的基础上，建立参数化的眼睛模型，并与个别测量的个人参数值相结合，可以提高眼睛分析和建模应用的精度。

眼动追踪不仅能够提升用户体验，还能解决目前横贯在VR设备发展道路中的清晰度问题。

著名眼动追踪公司Tobii的报告表示，眼动追踪在VR与AR上最主要的意义在于可以采用“目光优先”图像模式（gaze prioritized graphics）。这项技术的意义在于显示器可以优先以高分辨率显示用户目光中心的图案，而在用户目光角落中的图案可以适当“牺牲”清晰度——这样的设计不仅能模拟我们观察中的真实世界（不信的话你可以观察自己的眼角“余光”），还能大大减轻VR设备给CPU、GPU以及网速带来的压力。

“目光优先”的另一个优势在于用户与VR界面的交互将更加顺畅。在现实生活中我们时常转动眼睛“扫视全场”，而同样的行为在头显中只能通过转动头的角度达到。

通过眼动追踪，VR设备能够选择仅显示目光及周围发散出的一片区域，让用户的使用感受更接近于现实世界。

此外，正确识别到用户的瞳孔方向及目光位置能够让用户周围的3D显示更加准确，也能让VR设备准确标记声音来源。一旦声音位置能够与用户视物更准确地相结合，用户在使用中就不会遇到声音与发声物体方向不匹配的情况。

不仅如此，Tobii还规划了一个充满了“人情味儿”的游戏未来。通过眼动追踪，游戏中的NPC或者其他玩家能够通过眼神与用户交流，甚至能通过漫不经心的眼神“无视”用户的所作所为。此外，眼神还能被用来解析用户的情绪，在此基础上为用户“定制”游戏。

其次是医学领域方面，主要有两种。

一是我们常说的屈光度矫正，也就是佩戴框架眼睛、隐形眼镜或者做眼科手术。我们去眼镜店的时候，店员通常都会给我们测视力，测眼睛度数，然后给我们多次更换佩戴眼镜片问我们看的清不清楚，最后达到矫正视力达到正常5.0的标准。

但大家想没想过，何为“视力”，何为眼睛的“度数”，何为“矫正”？矫正的是什么？

人眼像一部精密照相机，人的角膜，房水，晶状体，玻璃体是光线到达眼球后极部的通路，统称“屈光介质”，它们都有一些屈光度，所谓屈光度，可以理解为这些屈光介质对光线曲折、汇聚的能力，也就是我们常说的度数，以角膜和晶状体为主。人眼总和屈光度还有眼轴长度来影响，眼轴越长，近视越多，远视越少。

那么，什么是视力？视力可以理解眼睛为分辨影像的能力。这和屈光度完全是两回事，视力是我们平常所说的1.0，0.3。屈光度是我们所说的近视三百度，远视四百度，散光一百度，等等。

那么，近视远视散光又怎么理解呢？近视是指在调节完全放松的状态下，远处平行光线经过眼睛屈光介质的聚焦，成相在视网膜之前，远视是成像在视网膜之后，而散光则是不同方向的屈光度不一致，导致不同方向的图像聚焦不在同一平面。

视力受什么影响？首先受屈光度影响；其次绝大部分眼病都影响视力。

那么，矫正是什么意思？不论是框架眼镜，还是隐形眼镜，还是屈光手术，其根本意义在于改变总和屈光度，把图像清晰的落在视网膜上。眼镜（包括普通的隐形眼镜）是通过光学镜片来改变眼球总的屈光度，激光近视手术则是把角膜切掉一部分，来改变角膜的屈光度，角膜塑形镜则是压平角膜，进行塑形，改变角膜的屈光度。所以，各种眼镜其实没有改变眼睛本身的屈光度，也就是说，摘掉就会模糊，戴着才清楚，矫正了“视力”，没有矫正“屈光度”。手术则是真正的改变了角膜的屈光度，既矫正了“视力”又矫正了“屈光度”。而角膜塑形镜，戴了才会既矫正“视力”，又矫正“屈光度”，不过，这个过程是可逆的，停戴之后会回复原样。

二是医学解剖方面，简单来说就是通过构建精密的眼球模型从而达到模拟真实人眼的作用，进行医学解剖实验。

角膜成像应用领域方面还有很多，比如计算机图形学、计算机视觉、动力学等等，这里我就不再一一介绍了，感兴趣的朋友可以关注一下我，以后可能会有后续的相关文章。

组内分工以及各自心得链接

沈健
仁增多吉
央金
沈兰心
章辉
云旦桑布

其它优秀作品推荐

1.Unity3D实现的跳一跳小游戏

虽然是简单的跳一跳小游戏，但原作者设计小人起跳时物体被弹压的效果以及镜头随小人移动的效果完成度非常高，游戏系统也很简单易操作，画面上也给人一种简朴之美，值得学习。

2.“编织”——基于粒子系统的图像自动生成系统

该系统是由粒子系统组成的图像自动生成系统，单个粒子在画面内自由游走，粒子间彼此相连，最后可生成网状的风格化图片，产生“粒子编织”的丝网效果。用户可以选择更改图片，重新绘制，更改粒子群数量，更改粒子初始位置，更改粒子连线数，更改颜色模式等与粒子系统交互。最后呈现出一幅用户期望的风格化作品。这个创意点十分新颖。

3《Gravity》太空模拟驾驶游戏

这个太空模拟驾驶游戏具有非常广阔的地图，玩家需要不断补充蓝色燃料，避免行星的引力陷阱完成游戏。虽然游戏系统上暂时缺乏一定的趣味性，但是飞船飞行系统的设计十分出色，期待原作者的日后改进。