交互技术前沿学习分享-翻译

交互技术前沿学习分享-翻译

《The Wiley Handbook of Human Computer Interaction》一书“Corneal Imaging”章节452-459页翻译：

《人机交互的Wiley手册》

表21.2 角膜的解剖区

角膜区	近似直径(毫米)	特征
中心光学	0-4	多数是球形，对称的；覆盖瞳孔的
中心旁(中间	4-7	一般是球形，但渐进平坦
外围部分	7-11	大多数是扁平化和非球面的
边缘部分	11-12	在加入巩膜之前角膜变尖

资料来源：改编自Snellh和Lemp(1997年)

此外，表面涂有一层薄膜的泪液，以确保它的平滑和帮助滋养角膜。结果，表面呈现出镜面状反射特征。

虽然角膜表面大致是一个球体，但它只在顶点附近有球面曲率，并且通常向周边平坦。角膜再细分为四个离光轴半径越来越大的解剖区。眼球在光轴周围通常不是旋转对称的，但在垂直方向上略侧扁。这导致了角膜表面的扭矩，具有较高的垂直曲率。眼表面曲率、元件分离和轴向长度都有相当大的个体变化。典型的角膜近似于椭圆体，先端曲率半径约7.8毫米。个别眼睛的沥青度值分布广泛，可以包括一些角膜向边缘倾斜而非扁平的情况。

角膜缘

透明角膜溶入不透明巩膜的区域称为角膜或角膜缘。它是一个带，宽约1.5–2.0毫米，环绕着角膜的外围（snell&lemp，1997）。曲率半径在这个交点立即改变，在眼睛的外表面产生形状不连续的浅沟。请参阅表21.1，以了解边缘的水平半径$r_{LH}$、垂直半径$r_{LV}$和平均半径$r_L$的公共值概况。

组织学上，角膜缘包含从角膜胶原纤维的规则层状结构向巩膜胶原束的不规则随机组织的过渡。角膜组织的各层要么合并成巩膜组织，要么终止于不同的地标。角膜区进一步包含血管和淋巴管。这导致了平稳和不均匀的过渡。

虹膜

虹膜是一个薄薄的，彩色的，圆形的结构，位于镜头的正前方。它的平均半径为6毫米。虹膜的外部结构延伸到角膜缘的后面和巩膜的起始处。外侧可见的区域由透明角膜组织分隔，在边缘处不均匀溶解。

正常眼睛的虹膜颜色从浅蓝色到深棕色不等，取决于结缔组织和色素的排列和密度。同一人的双眼与同一虹膜的不同部位之间(Snell&Lemp，1997年)颜色可能发生变化。色彩浓重的褐色虹膜表面光滑，而浅灰色、蓝色或绿色的虹膜表面粗糙也不均匀。

瞳孔

虹膜形成具有中心圆孔的光学系统的光阑，即瞳孔。瞳孔的大小控制着直径在1到8mm之间的视网膜照明。在大约25%的个体中，它的大小略有不同(Snell&Lemp，1997年)。在外部看到的瞳孔的图像是与进入瞳孔相对应并且稍微大于真实瞳孔的虚拟图像(Atchison和Smith，2000)。与虹膜边界的光滑外观相比，瞳孔圆形边缘是一个相当锋利的边缘。瞳孔看起来是黑色的，因为进入的光线大部分被眼内的组织吸收。瞳孔可以在图像中出现红色，在低强度环境光下，用明亮的闪光灯拍摄眼睛。这种所谓的红眼效应(van de Kraats和van Norren，2008)是由当闪光灯位于镜头附近(图21.3a)时从眼球背面反射出来的大量光引起的。

眼膜型

本节考察了不同应用背景下计算眼模型的构造。需要对眼睛的特性进行建模以完成与角膜成像相关的任务。

参数模型

了解人眼的形状和参数分布，可以建立参数化的眼睛模型。在过去150年中已经开发了几种具有不同复杂程度的所谓的示意性眼睛模型,目的在于描述眼睛作为光学系统的成像特性和性能(Atchison&Smith，2000年；Bakaraju，Ehrmann，Papas，&Ho，2008年；Gullstrand，1909年；Kooijman，1983年；Le Grand&El Hage，1980年；Liou&Brennan，1997年；Lotmar，1971年)。这些模型从平均人口的测量数据中创造出来，代表一只普通的眼睛，它们是大多数光学眼分析和建模工作的基础。

对于与角膜成像有关的应用，通常只需模拟眼睛的外部(可见的)表面，而不需要处理内眼的屈光表面。眼睛的外表面被建模为光轴周围的旋转表面，眼球和角膜有两个相交的表面。由于几何和计算简单，最常用的模型使用球面。利用一般二次曲面建模非球面性可以提高精度,例如球体(Baker，1943年)，椭球体(Nakazawa等人，2016年；Nishino&Nayar，2006年；Beymer&Flickner，2003年)，一般二次曲面(Atchison & Smith, 2000), 或者高阶曲面(Gasparini & Caglioti, 2011; Nagamatsu, Iwamoto, Kamahara, Tanaka, & Yamamoto, 2010).

表21.3 瞳孔分割和虹膜轮廓拟合。(a)轴上照明的明亮瞳孔效应，也称为闪光摄影中的红眼效应.(b)离轴照明的暗瞳孔效应.( c)带有离轴红外LED的照相机。(d)没有LED照明的眼睛图像。(e)离轴照明产生暗瞳孔.(f)从不同图像分割瞳孔。(g)分割瞳孔轮廓，并将椭圆拟合到瞳孔和虹膜轮廓。

在球面情况下，眼睛被表示为两个具有不同半径和分离曲率中心的重叠球，C和E(图21.2 c)(Gatiel等人，2011年)。作为参考，所应用的参数值列于表21.1中。角膜被建模为球形帽，曲率半径$r_c$为7.8mm(Kaufman&ALM，2003)，是被角膜缘平面切断的角膜球体。假定虹膜的可见部分等于圆形边缘，平均半径$r_L$为5.5mm(Nishino&Nayar，2006年)。角膜缘圆中心和角膜球中心之间的位移$d_{LC}$从给定参数获得,

（21.1）

角膜高度，定义为角膜顶点A与圆形角膜缘L的中心之间的距离$d_{AL}$，如下所示：
(21.2)

所有的眼球运动都被描述为围绕眼睛E的几何中心旋转，位于约为角膜球中心后5.7毫米的距离$d_{CE}$上，在这一点上，Donder’s和List’s定律（Tweed&Vilis，1990）描述了一组有限的解剖上可能的眼部姿势。然而，角膜反射分析通常不需要对眼球表面和眼球运动进行建模。

角膜和眼球的曲率中心，C和E，以及角膜顶点和瞳孔的中心，A和L都位于眼睛的光轴上。真正的凝视方向，即眼睛的视觉轴，是由眼睛的凹点和交点来描述的。当用户聚焦在不同的距离时，节点的位置会发生变化；然而，一般认为它与瞳孔中心L重合。光轴和视觉轴之间的静态偏移约为5°，其中两个自由度（DOF）被描述为与光轴分离的水平和垂直偏移角B和A，或关节方向和偏移角K。

该模型并不完美，因为用户依赖的参数被假定是静态的，并且将角膜和眼球建模为一个球面在解剖学上是不精确的。然而，我们可以把它作为一个简单而有效的近似，并成功地应用于若干研究(Johnson&Farid，2007年；Nakazawa&Nitschke，2012年；Nitschke et al.，2011 a； Nitschke&Nakazawa,2012；plopski,Kiyokawa,Takemura,&Nitschke,2014;Schnieders等人,2010年；Takemura等人，2014b；Tsumura等人，2003年)。

通过将参数眼模型与个别测量的个人参数值相结合，可以提高眼睛分析和建模应用的精度。在眼睛凝视跟踪(EGT)领域，测量通常采用一次交互校准程序，要求用户执行一项任务，比如盯着标记和移动的眼睛。有些方法甚至在运行时自动估计参数，从而消除了繁琐的手工交互和专家知识的需要。

基于眼特征跟踪的被动眼姿估计方法使用了不考虑角膜表面的简单的单眼模型。Wu，Kitagawa，Wada，Kato和Chen(2007)描述了一种用简单的校准策略来估计瞳孔间距离、眼球半径$r_E$和虹膜半径$r_L$的个人参数的两眼模型跟踪方法。 在第一帧中，手动选择两个眼睛的四个眼角。在随后的帧中，个人参数是通过粒子滤波跟踪和已知的眼睛凝视来估计的，在这种情况下，假设人向前看。Reale，Canavan，Yin，Hu和Hong(2011)描述了一个带有交互校准过程的远距离注视点(Pog)跟踪器，在这个过程中，用户凝视着一个屏幕上的摄像机中心和两个已知的三维点。该系统估计虹膜半径$r_L$、眼球中心到虹膜的距离$d_{LE}$以及视觉轴偏移量。Tsukada、Shino、Devyer和Kanade(2011年)和Tsukada和Kanade(2012年)推出了一种可穿戴的眼睛凝视跟踪器，并采用了自动校准程序来确定眼球半径$r_E$、虹膜半径$r_L$和静态眼球中心E的位置。通过逐步增加眼模型约束来迭代估计参数。

基于瞳孔中心角膜反射(PCCR)的主动光眼位姿估计方法采用了考虑角膜表面的两球眼模型。Villanueva和Cabeza(2008年)在活动光源情况下进行个人校准的几何评估。它们显示，从点光源到相对于眼睛跟踪摄像机的已知位置和单个校准点的两个闪光是标定角膜半径$r_c$、角膜虹膜距离$d_{LC}$和主要水平光轴偏移角B的最低要求。 还提出了单摄像机的单点标定方法(Nakazawa&Nitschke，2012年；Ohno，2006年；Villanueva和Cabeza，2008年)和立体摄像机设置(Guestrin&Eizenman，2006，2011；Nagamatsu，Kamahara，Iko，&Tanaka，2008年)。

Plopski(2016)和Plopski、Nitschke、Kiyokawa、Schmalstiegg和Takemura(2015 b)提出了一种混合眼姿估计方法，用已知场景模型的反射改进被动眼睛跟踪(相对于主动光方法中的红外LED)。这允许提高被动跟踪的准确性和稳定性，并允许估计个人参数虹膜大小$r_L$和角膜-虹膜距离$d_{LC}$.

详细模型

通常情况下，应用参数眼模型来简化实现和计算需求是足够的。然而，应用程序场景需要更详细和准确的眼睛建模，如医学上的眼科手术和光学屈光矫正，以及计算机图形学和视觉领域的解剖和物理逼真的眼睛模型。下面将从不同的领域讨论这类工作。

复杂的眼睛由于准确逼真的眼睛建模在各个领域都很重要，已有大量的研究工作。
Ruhland等人(2014年)为虚拟代理和人工系统提供了一项关于眼睛和凝视动画的最新调查。
这项工作从低水平的眼睛生理、几何学和外观，到高水平的凝视行为包括一个广泛的概述。

医学在医学上，重要的是重建精确的个人眼睛模型的解剖学，几何学，光学，外观和动力学。Sagar、Bullivant、Mallinson和Hunter（1994）在虚拟环境中开发了眼睛和周围面部的解剖学详细模型。该模型通过结合现实的计算机图形和有限元分析，直观机械化地模拟人眼的特征。通过显微外科机器人系统，利用激光共聚焦显微成像技术获得了角膜的精确形状。
Einighammer、Oltrup、Bende和Jean(2009)描述了单个几何和光学眼模型的重建。角膜被表示为从测量的前角膜地形图上进行样条插值.然后通过波前像差优化计算透镜的几何形状。
Priamikov和Triesch(2014年)介绍了一个眼动生物力学模拟平台。基于对眼睛的测量，他们建立了人类眼外肌肉的生物力学模型和眼球的可视化。

计算机图形学。在计算机图形学中，生物物理和光真实感建模、绘制和眼睛动画有着广泛的应用，如虚拟现实仿真和娱乐等。Jimenez、Jarabo、Gutierrez、Danvoye和Pahlen(2012)描述了GPU加速的方法来绘制真实感的眼睛，涵盖了一些解剖和光学特性，如湿润，眼睛发红，周围遮挡，折射和反射。Bérard、Bradley、Nitti、Beeler和Gross(2014)提出了一个系统，用于获取和建模具有很高分辨率的眼睛的时空形状和纹理。它们描述了一个复杂的照明和捕获硬件系统和混合重建策略，以处理不同的外观特征的可见部分的眼睛。从通用眼睛代理开始，系统恢复巩膜、角膜和虹膜，并将它们组合成完整的眼睛模型。该方法是现有技术在高精度中的现状 几何和外观的眼睛建模使用标准光学组件。

电脑视觉。在计算机视觉、生物物理学和真实感建模和绘制中，眼睛在HCI、人类感知和生物医学成像方面具有广泛的应用范围。Świrski和dodgson(2014年)生成合成的地面真实眼睛图像来评估眼睛跟踪算法。基于Holmberg的公共领域头部模型(Holmberg，2012)，他们构建了一个完整的带有球形眼睛的三维头部模型，该模型允许对移动和远程眼跟踪系统进行模拟。物理正确的渲染允许处理光发射，反射，折射，阴影，景深模糊，镜头噪声和红外成像.他们的系统使用开源软件Blender，支持GPU加速渲染和Python批处理脚本.伍德等人(2015)显示眼睛图像的真实感绘制，为受监督的计算机视觉应用生成培训数据，从而消除了耗时和潜在的不可靠的数据收集和人工注释的问题。它们从专业获得的头部扫描几何结构中重建动态眼睛区域模型，其中有两个球体眼球几何形然后，这些模型被用来渲染特写的眼睛图像，以反映个人特征(性别、种族、年龄)以及头部姿态、面部和眼睛的各种形状和外观变化、眼运和照明条件。他们表明，合成训练数据(SynthEyes)在眼形配准(检测解剖标志)和基于外观的凝视估计方面优于最先进的方法。在角膜反射分析的背景下，Johnson和Farid(2007)提出了一个基于物理的眼角膜和可见结构的球面模型。 Nitschke (2011) 扩展了非球面模型，其中眼睛结构被建模为椭球和椭圆截面。该模型被应用于一个脚本框架(pharr&Humphreys，2004)，用于用环境光照的角膜反射来绘制合成的眼睛图像。这样就可以模拟不同参数对角膜反射模型的影响，特别是在很难获得地面真实值的情况下，如与个别眼睛有关的参数。

角膜形态角膜反射分析要求角膜有一个已知的姿势和形状。相关工作通常采用具有固定尺寸或个人参数的球形模型，使用多个摄像机或校准程序。只有少数几种方法支持更好地描述角膜周边的二次曲线或一般旋转对称模型(Atchison&Smith，2000；Guillon，Lydon，&Wilson，1986；Lindsay，Smith，& Atchison,1998;Ying,Wang,&Shi,2012)。虽然这些数据大多依赖于近似值(Beymer&Flickner，2003；Nishino&Nayar，2006)，但最近的一些工作也估计了二次曲面(通常是长方形椭球)表示的个人非球面参数。在使用主动-光3D几何方法的眼睛注视跟踪(EGT)的情况下，Nagamatsu等人(2010年)将普通交互式用户校准扩展到额外估计角膜顶点曲率半径的非球面度。Nakazawa等人(2016)进一步表明，非球面度可以自动恢复。它们描述了一种从眼睛图像中估计场景图像与相应的角膜反射之间的翘曲函数的方法(见角膜反射场景匹配一节)。图像配准的准确性取决于几何模型的精度，其中角膜反射器的形状对其影响很大。为了提高准确性，他们细化了初始算法（Nakazawa、Nitschke和Nishida，2016），在迭代非线性图像配准框架下，并结合眼姿和场景定位，对非球面度进行建模和自动估计。虽然该方法主要针对自然场景中的角膜反射，但也可用于眼跟踪场景中的人工光照。

关于精确角膜表面形貌的测量，在眼科和视力测量方面存在几种非侵入式光学技术。角膜计量学(眼科测量)认为角膜是一个球面反射面，并测量它的曲率半径。计算是基于几何光学，只适用于角膜中央一小部分的四个采样点。可以利用镜面反射的形状原理，通过控制照明的反射来重建更精确的形状模型(Balzer&Werling，2010；Ihrke, Kutulakos, Lensch, Magnor, & Heidrich, 2010). 照相角化术，或称视频角膜摄影术(Halsted，Barsky，Klein，&Mandell，1996；Swartz，Marten，&Wang，2007)是一种应用这一原理重建一个 角膜地形图的ccurate模型(Bogan，Wling III，Ibrahim，Drews，&Curtis，1990；Gatiel，Malet，Hoang Xuan，&Azar，2011)，用于各种医学应用，如屈光手术、改变监测，疾病诊断，和隐形眼镜的发展。这项技术的工作原理如下：病人坐在角膜技师前面，这是一种显示照明图案的凹形装置(通常是一系列同心圆环或移动的狭缝灯)。 该图案集中在患者角膜的前表面，并反射回位于模式中心的数码相机。这允许整体的角膜形状由数千个采样点反射图案的畸变重建。结果可以用多种格式表示，如轴向、切线、仰角或屈光图，以显示角膜地形图的不同特征。

虹膜外观与动力学 虹膜是角膜反射分析的重要原因。(a)虹膜轮廓跟踪是一种常用的被动眼姿估计技术，用于确定相对于眼相机的三维眼模型的姿态。(b)处理虹膜图案和场景反射的覆盖，以改善角膜反射的视觉质量和几何建模，以及去除IRI中的场景反射噪声 S生物统计学。为了提高角膜反射的视觉质量和几何造型，需要处理虹膜图案和场景反射的叠加，去除虹膜生物识别中场景的反射噪声。©角膜反射分析捕捉眼睛发生事故照明的环境图，这与建立瞳孔光反射(PLR)模型和规范瞳孔动力学进行人体内部状态估计有关。在计算机图形学中，由于对人的虹膜的真实感绘制和动画的要求，使得对虹膜形状、图案、外观和动力学的精确建模技术应运而生。Lam和Baranoski(2006)介绍了第一个基于生物物理的虹膜光传输模型，来模拟虹膜组织的光散射和吸收，并计算光谱辐射响应。Francois，Guatron，Breton和Bouatouch(2009)提出了一种用于真实感虹膜/眼睛建模和实时绘制的方法。该模型是通过从环境地图和眼睛的图像进行基于图像的重建获得的。通过估计相机姿态和用于角膜折射的计算来恢复虹膜形态和散射特征。潘普洛纳、奥利维拉和巴拉诺斯基(2009)介绍了一个基于生理学的瞳孔光反射模型和一个基于图像的虹膜模式变形模型。瞳孔光反射模型表示瞳孔直径作为环境照明的函数,由一个由实际测量得到的参数值的时滞微分方程描述。然后用瞳孔扩张和收缩的函数来表达实际虹膜图案变形的模型。

眼位估计

本节介绍了眼睛模型相对于摄像机的位置和方向估计，这相当于基于3D模型的眼睛跟踪和校准角膜摄像机Catadople c成像系统。眼姿估计恢复到光轴的注视方向。另外一次单独校准至少有一个校准点是必要的，以恢复偏移到真正的凝视方向或视觉轴(Guestrin & Eizenman, 2006; Nakazawa & Nitschke, 2012; Villanueva & Cabeza, 2008)。表21.3显示了不同的方法，主要是与眼凝视跟踪(EGT)有关的概述.准确度被指示为注视方向上的误差、与眼睛的姿势有关的共同测量以及因此与角膜的位置有关的共同测量。