论文翻译：Recent Iris and Ocular Recognition Methods in High- and Low-Resolution Images A Survey

Recent Iris and Ocular Recognition Methods in High- and Low-Resolution Images: A Survey

摘要:在生物识别技术中，虹膜和眼睛识别系统是识别图像中眼睛特征的两种方法。这样的虹膜和眼部区域必须有一定的图像分辨率才能达到较高的识别性能;否则，会出现性能下降的风险。这在虹膜识别中更为关键，因为虹膜识别使用了详细的模式。在获取这类低分辨率图像而无法改善采集设备和环境的情况下，可以通过超分辨率重建等方法获取高分辨率图像来提高识别性能。然而，以往的综述论文主要对高分辨率虹膜和人眼识别的研究进行了综述，而对低分辨率虹膜和人眼识别的研究没有提供详细的综述。因此，我们对高分辨率虹膜和人眼识别方法进行了研究，详细介绍了低分辨率虹膜和人眼识别方法以及解决低分辨率问题的方法。此外，由于现有的调查论文主要集中在传统的基于手工特征的虹膜和人眼识别的研究，本文也详细介绍了最新的基于深度学习的方法。

1. Introduction

1.1. 生物识别技术的背景

目前，正在研究将利用个人外貌特征的新一代安全措施——生物识别(biometrics)超越密码等旧一代安全措施的方法。因为早期的安全措施(如密码)通常是根据用户的知识或记忆创建的，所以很容易预测。此外，与新一代的生物识别方法相比，它们的安全性相对较低，因为使用蛮力和概率推理方法[1]可以很容易地渗透它们。相比之下，由于生物识别技术使用的是个人独特的身体部位，增加了盗窃和黑客攻击的难度，与传统安全措施相比，安全风险更低。与攻击传统安全措施[2]相比，复制和锻造机体部件更加困难，因此安全性进一步提高。

生物识别技术利用受试者的面相作为安全措施，通常使用手、手指或脸，这些都很方便使用。首先，利用手掌或指纹的方法在一般[3]中被广泛应用。近年来，有研究利用手掌静脉或手指静脉等位于手部的血管之间的静脉进行识别[4-6]。使用手的方法使用基于接触的方法与传感器或摄像头进行用户识别，但在接触面上仍有痕迹，通过这些痕迹可能会发生跟踪或伪造[7]。为了解决接触痕迹残留带来的问题，提出了利用人脸图像的非接触式方法。这些识别方法通常使用人脸记录一个区域(整个脸、一只眼睛等)来捕捉独特的区域特征。这些方法包括使用整个人脸[8]的人脸识别;仅利用眼睛特征的视觉识别[9,10];采用整体、几何、局部等多种方法的耳朵识别;基于耳区[11]特征的深度神经网络而虹膜识别则只利用虹膜的[12]片段。然而，虽然没有留下痕迹的风险，因为图像是在不接触的情况下获取和部署的，不同于基于手的方法，有固有的约束，例如，用户必须被定位在一定的距离内捕捉图像。此外，在人脸识别方面，如果因伤口、整形手术、年龄增长等原因导致面部特征变形，识别能力就会下降。虽然耳朵识别受这些因素的影响较小，但用户应该将自己的侧视图对准摄像头的方向，以便捕捉耳朵图像。

为了解决这些问题，可以应用虹膜识别技术，它利用眼睛位于面部的虹膜区域。随着年龄的增长，虹膜几乎没有变化，因为它受到眼睑的保护，由外部因素引起的变形很少发生。

此外，由于虹膜具有独特的特征，在生物识别中具有充分识别主人的优势。然而，虹膜识别也有其缺点。它要求对虹膜区域进行精确的分割，在虹膜颜色较深的情况下，需要近红外(NIR)相机捕捉图像。

此外，它必须支持足够高的图像分辨率，以获得详细的虹膜模式的小虹膜。针对这些问题，提出了利用虹膜原位识别而不进行精确分割的视觉识别方法;这种方法识别整个眼睛区域，它稍微大一些，包括周围的眼睑区域。与虹膜识别相比，人眼识别具有优势，因为其约束条件相对较低，构建采集环境的难度较小。此外，当进行人脸或虹膜识别时，可以立即对人脸或眼睛图像进行识别，而无需额外的采集程序。因此，它可以作为人脸或虹膜识别的辅助识别系统。

1.2. 动机

生物识别系统基于通过采集设备输入的数据执行识别，对于虹膜和眼睛识别，通常以图像的形式获取数据。此外，一般情况下，安全系统应用于受控环境，虹膜和眼睛的图像都是高分辨率的，以降低影响识别性能的风险。因此，对高分辨率方法的研究主要是更精确地区分每个区域的特征，更严格地识别被试。反之，如果输入的是低分辨率的图像，识别算法的性能会急剧下降。由于低分辨率图像中的像素数量较少，只能获得少量的信息，使用简单的图像插值方法很难恢复原始信息。

也就是说，高分辨率图像意味着它是由像素数量较大的相机传感器捕获的(通常超过1,000,000像素)，而低分辨率图像则表示由像素数量较小的相机传感器捕获的(通常小于1,000,000像素)。例如，在虹膜识别中，如果捕获的虹膜图像直径大于200像素，通常被认为是高分辨率的虹膜图像[13,14]。

为了解决低分辨率问题，研究了超分辨率重建(SR)等从低分辨率图像重建高分辨率图像的方法。此外，通用图形处理单元(GPGPU)技术是基于现在用于通用计算的显卡的并行处理能力的提高而开发的，而不仅仅是用于图形处理。因此，基于为传统的中央处理器(CPU)无法单独处理的高级并行计算进程开发的技术，现在可以进行传统机器学习领域早期设备的限制而无法处理的操作。因此，深度学习方法正在被积极研究。由于这些发展已经被应用，卷积神经网络(cnn)被研究用于图像处理，并产生了最先进的方法[15-17]。研究了这些具有优良性能的方法，并将其应用于SR的研究。

在目前的综述论文中，对基于高分辨率图像的虹膜和眼睛识别的研究进行了总结，但对基于低分辨率图像的虹膜和眼睛识别的研究还没有进行详细的总结。因此，本文旨在对高分辨率虹膜和人眼识别进行研究，对现有的方法进行检验，然后详细介绍低分辨率虹膜和人眼识别，以解决低分辨率问题。此外，由于这些论文集中和总结了传统的基于手工特征的虹膜和眼睛识别方法，本文将详细介绍基于深度学习的最新趋势。

1.3. 本研究的范围

在本文中，我们研究了以下几点，并提出了一种低分辨率图像中虹膜和眼睛识别的新方法。

\1. 根据所采用的方法对传统的高分辨率虹膜和人眼识别方法进行了优缺点分类，并讨论了输入低分辨率图像时出现的问题。

\2. 对采用SR方法解决低分辨率问题的虹膜和人眼识别研究进行了分类，并对每种方法的优缺点进行了分析。

3.应用了最先进的深度学习SR方法的虹膜和眼部识别方法表现良好。

在第2节中，我们分析了虹膜和人眼在高分辨率图像中的识别的优缺点，这是之前已经研究过的。然后，在第3节中，基于所采用的方法，我们分析了应用SR方法解决低分辨率问题的虹膜和人眼识别方法，并总结了它们的优缺点。第4节给出了本文的结论。

2. 使用高分辨率图像的虹膜和眼睛识别方法

对人眼区域的识别方法一般分为两类:一类是利用虹膜区域的识别方法;第二，使用眼睛区域的人。虹膜识别通常使用高分辨率、高质量的图像。虹膜和眼部识别使用整个眼睛区域进行识别，并使用中国科学院自动化研究所(CASIA)数据库中如图1所示的近红外照明和摄像头获得的高分辨率图像。

如图1所示，识别系统可以使用整个人脸，也可以只使用虹膜区域立即获取和使用。这可能因实现环境的不同而不同。一般情况下，为了进行识别，需要使用昂贵的高分辨率相机，如图1a所示，获取整个人脸区域的高分辨率图像，在图像中检测虹膜区域，如图1b。除此之外，还有一种只获取虹膜区域的方法，如图1c，使用带有变焦功能的窄角相机。高分辨率图像的虹膜识别重点在于准确的虹膜分割，因为图像中已经包含了许多可识别的特征。然后，根据识别结果选择识别方法。为了解释这个过程，下一小节将介绍传统的基于高分辨率图像的虹膜识别研究。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FjFMTXot-1661001691631)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820211847712.png)]

图1-CASIA数据库的一个示例，其中包括面部或眼部图像。(a) CASIA-iris-Distance v4数据库的完整人脸图像;(b)从(a)检测到虹膜感兴趣区域(ROI);© CASIA-iris-Lamp v4数据库的虹膜图像

2.1. 高分辨率图像的虹膜识别方法

在生物识别方法中，虹膜识别主要应用于对安全性和可靠性要求较高的环境。每个人都有独特的虹膜特征模式，由于虹膜几乎不会因年龄或外界因素而发生变化，因此它是识别的理想选择。

历史上，有许多关于实施基于虹膜的生物识别的研究，Daugman等[12]研究并实现了一个特定的系统。图2中左侧的蓝色虚线框表示常规高分辨率图像虹膜识别系统的处理流程。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QKRtxWg2-1661001691632)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820211856370.png)]

图2-高、低分辨率图像的虹膜和人眼识别综述。

首先，一般情况下，传统的高分辨率虹膜识别(如图2中蓝色的点框所示)采用自适应boosting (Adaboost)人眼检测器19等方法从输入图像中大致检测眼睛区域;通过预处理，从眼部[12]区域检测虹膜、瞳孔、眼睑和睫毛区域(步骤(2))。预处理后，去除撞击瞳孔和虹膜区域的眼睑和睫毛区域，对虹膜区域进行归一化处理，将笛卡尔坐标转换为极坐标(步骤(3));基于归一化虹膜区域，进行CNN或Gabor滤波器等，提取虹膜编码(步骤(4));最后一步通过模式匹配识别虹膜，使用各种不同的相似度测量，如注册图像的虹膜代码与被识别图像的虹膜代码之间的汉明距离(步骤(5))。在采用传统图像处理方法的虹膜识别中，虹膜特征提取的准确性决定了识别性能的好坏。采用生物识别中广泛应用的误差等率(error equal rate, EER)指标对其性能进行评价。当进行实际识别时，EER会显示错误接受率(FAR)等于错误拒绝率(FRR)处的错误率。FAR是一个主题被错误接受的概率，而FRR是一个用户被错误地拒绝为其他人的概率。高分辨率图像虹膜识别的研究可分为图像处理、机器学习和深度学习三种方法。

2.1.1. 图像处理方法

首先，Thomas等[20]应用虹膜分割进行图像处理，该方法基于随机样本一致性(RANSAC)进行识别。然后，利用橡胶片模型对虹膜区域进行变换，完成虹膜识别的预处理，这是目前大多数虹膜识别方法的常用方法。然后，采用基于信号的性能测量方法，即峰值旁瓣比(PSLR)作为最终的识别方法。为此，采用快速傅里叶变换(FFT)将虹膜的橡胶薄片图像转换为一个频率信号区域。然后，该方法以PSLR值作为相似性度量，通过模板匹配进行识别。Tahir等人[21]提出了一种初步检测虹膜区域的新方法，使用形态滤波器去除反射光和水平轴和垂直轴的圆形模板。本文提出的虹膜区域检测方法首先利用形态滤波器去除瞳孔反射光，然后利用水平方向和垂直方向的圆形模板初步找到虹膜区域。然后，采用直方图均衡化、高斯滤波、canny边缘检测和霍夫变换等图像增强处理，更准确地检测虹膜区域。然后，应用精细连接扩展平滑(R-C-E-S)方法检测眼睑区域，并创建一个口罩来去除它。该方法应用于较早检测到的虹膜区域，从而仅获得完整的虹膜区域。利用得到的虹膜区域生成虹膜编码后，利用汉明距离进行模板匹配识别虹膜。与前面提到的使用近红外光谱的研究不同，Frucci等人研究了使用可见光谱图像的虹膜识别。在可见光谱图像中，虹膜特征与近红外图像不同，存在各种各样的变化(颜色、噪声等)。与近红外图像相比，这使得识别系统的实现更加困难。在他们的研究中，采用分水岭变换方法对图像进行二值化，然后用圆拟合算法检测边缘边界。在此基础上，利用canny边缘滤波和圆拟合算法找到瞳孔区域。将得到的虹膜区域转化为橡胶板形式，生成虹膜编码，在此基础上利用汉明距离或余弦不相似度进行模板匹配进行虹膜识别。相对于基于离散小波变换的虹膜识别，Singh等人提出了一种基于整数小波变换(IWT)的虹膜识别方法。

该算法的性能优于DWT算法。Thumwarin等人[24]提出了一种动态半径匹配虹膜识别方法。虹膜区域的大小会因瞳孔的不同而不同。光照过强时，瞳孔区域变小，虹膜区域扩大，反之亦然。因此，本文提出了一种基于动态半径的虹膜特征提取方法。

上述研究[20-22]提出了采用传统图像处理方法的虹膜识别系统。传统方法的优点是它们不会需要额外的计算设备，如图形处理单元(GPU)。反之，如果不能保证输入图像的质量达到预定水平，则识别性能可能会下降，这是一种缺点。另一个缺点是实现识别过程的方法复杂。如果将一个意想不到的低分辨率图像输入到这样的系统中，识别性能可能会急剧下降，当必须使用低分辨率图像时，需要实现适当的系统。

2.1.2. 基于机器学习的方法

针对上述图像处理方法的缺点，提出了机器学习方法。Salve等[25]提出了一种应用支持向量机(SVM)和人工神经网络(ANN)进行虹膜识别的识别方法。首先，图像预处理与传统的图像处理方法基本相同。采用canny边缘检测和Hough变换方法对虹膜区域进行分割，将分割后的区域变换为橡胶片形式，再进行1D log-Gabor小波变换提取虹膜码。将提取的虹膜编码输入到SVM和ann分类器中进行虹膜识别。

Nalla等[26]提出了一种虹膜识别方法，通过应用域适应(DA)方法，同时使用可见光和近红外图像，提出了一种不受图像采集环境(传感器特定或光源波长特定)影响的方法。通过预处理，将输入图像转换为橡胶板形式，并使用log-Gabor滤波器生成实值特征。然后，采用DA-naïveBayes最近邻(DA-NBNN)方法进行跨光谱虹膜识别，该方法将NBNN分类器应用于利用特征的DA方法。此外，他们提出了一种扩展的DA-NBNN (EDA-NBNN)方法，结合空间金字塔匹配(SPM)来进一步提高性能。

Adamovi´c等人[27]提出了基于文字特征的虹膜识别，使用机器学习算法进行分类。他们使用一个Base64编码器来生成虹膜模板，而不是传统的Daugman方法，如一维或二维Gabor滤波器。

机器学习方法的优点是识别过程可以实现得更精细，在各种情况下，通过训练可以获得较高的识别率。然而，虹膜识别系统的一个显著特点是图像必须有一个阈值或更高的分辨率才能对其进行预处理并准确地转化为橡胶片模型。否则，如果输入低分辨率的图像，性能可能会下降。此外，另一个问题是识别性能差的其他环境的图像没有学习。

2.1.3. Deep Learning Method

考虑到基于机器学习的方法存在上述缺陷，目前已经开展了基于深度学习的虹膜识别研究。Gangwar等[28]提出了使用CNN的虹膜识别。它类似于传统的图像处理和机器学习的方法，直到在预处理过程中将虹膜区域分割后转化为橡胶片的形式。然而，之后，长矩形橡胶片被分成两半，然后垂直地相互连接，产生一个方形的输入图像，用作CNN的输入。它不是将图像转换成虹膜代码，而是将图像原样输入到CNN中，然后使用CNN的加权滤波器提取特征，然后使用这些特征进行虹膜识别。他们在研究中提出的CNN架构被称为DeepIrisNet，利用最后输出层SoftMax[29]层之前的全连接(FC)层的特征，计算入组图像与识别图像之间的相似度得分，并在此基础上进行虹膜识别技术。

Zhao等[30]基于全卷积网络(FCN)模型创建了一个描述符，该描述符创建了空间对应的虹膜特征，并提出了一种扩展的三态损失(ETL)来训练它。此外，他们还实现了一个子网络，以获得适当的信息来识别虹膜区域。通过该网络获得的值被用作提议的ETL的重要输入。采用FeatNet作为主网络，MaskNet作为子网。为了在Zhao et al -[30]的基础上进一步提高性能，Wang et al -[31]提出了利用扩张卷积和剩余连接的DRFNet方法。如前所述，使用MaskNet计算ETL并执行训练。将分割后的虹膜区域图像分别输入DRFNet和MaskNet进行虹膜识别。Minaee等[32]使用Simonyan等[16]提出的视觉几何组(VGG)-16模型，利用包含虹膜原样的眼睛图像进行虹膜识别。利用VGG-16模型提取的虹膜图像特征，在不加微调的情况下，采用主成分分析(PCA)降维，再采用多分类支持向量机(SVM)进行虹膜识别。Zhao等[33]提出了基于深度学习的虹膜识别方法，采用胶囊网络结构来提高性能。用于虹膜识别的胶囊网络学习了部分-整体关系，具有较高的识别精度，同时提高了模型的鲁棒性。Lee等人[34]提出了基于生成模型的数据增强和利用三种CNN方法，以提高对可见光波段捕获的噪声图像的虹膜识别精度。Wang et al -[35]的研究中，他们利用CNN对跨光谱虹膜图像进行虹膜识别。他们使用了一个简单的浅层CNN模型，由3个卷积层组成，但由于网络较浅，可能会导致性能下降。因此，他们采用监督离散哈希算法来克服这个问题。

对于深度学习虹膜识别，很多方法都是通过充分的预处理构建一个橡胶片模型来提取特征并进行识别，或者在不分割的情况下对深度学习模型施加更多的权重，并使用自训练的滤波能力。在这种情况下，如果一个深度学习模型得到很好的实现，它可以对更多的图像变化表现出良好的识别性能。但是，如果输入的是低分辨率的图像，在高分辨率图像上训练的模型的权值可能会得到不正确的结果。因此，还需要准备它来使用低分辨率的图像。

下表1总结了上述基于高分辨率图像的虹膜识别研究。

表1-高分辨率图像虹膜识别研究(*表示采用Daugman的rubbersheet模型进行虹膜区域归一化);(引用和Illum。分别为平均参考和照明)。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5Yxewaom-1661001691633)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820211942064.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X7xtWUwB-1661001691633)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820211946520.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4Anxb7KG-1661001691633)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820211951931.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9hWKGzm2-1661001691634)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820211956019.png)]

3. 低分辨率图像的虹膜和眼部识别方法对于虹膜和眼部识别

对于虹膜和眼部识别，可以在各种情况下输入低分辨率图像，例如在远距离、使用低分辨率相机以及具有弱主体约束的情况下。在这种情况下，通过从低分辨率图像重建超分辨率图像来进行识别，如图2中紫色虚线框的上框所示。但是，由于很难获得一对高分辨率的图像和实际环境中的低分辨率虹膜图像，大多数研究都采用图像处理方法，在高分辨率图像的基础上创建低分辨率图像，如图3所示，并基于该对进行超分辨率重建.

也就是说，图 3 显示了第 2 列和第 4 列的低分辨率虹膜图像对的示例（通过传统图像处理方法 [46] 由相应的第 1 列和第 3 列的高分辨率虹膜图像产生）和相应的高分辨率虹膜图像。这些对是用于实现和测试超分辨率重建算法的实验图像。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s9mvXCXK-1661001691634)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820212003290.png)]

图 3-高分辨率和低分辨率 (1/16×) 图像示例。第一行、第二行和第三行分别来自 CASIA-iris-Lamp、Thousand和 IITD 数据库

使用传统图像处理或使用高分辨率和低分辨率对数据库的最先进的深度学习重建低分辨率图像。为了定量比较和评估超分辨率重建，信噪比 (SNR) [47]、峰值信噪比 (PSNR) [48] 和结构相似性指数测量 (SSIM) [49] 是用过的。 SNR 和 PSNR 根据原始高分辨率图像和重建图像之间的均方误差 (MSE) 衡量增强质量，等式 (1)-(3) 分别显示了 MSE、SNR 和 PSNR 的数学公式。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PpGF5spM-1661001691634)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820212010090.png)]

I0是原始高分辨率图像，Ir 是低分辨率重建图像。 m 和 n 分别表示图像的宽度和高度。等式（4）显示了 SSIM 的数学公式。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vx533PM6-1661001691635)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820212014308.png)]

µo 和 σo 分别表示原始高分辨率图像的像素值的均值和标准差。 µr 和 σr 分别表示重建图像的像素值与低分辨率图像的均值和标准差，σro 是两幅图像的协方差。 S1 和 S2 是使分母非零的正常数值。在下面的 3.1 和 3.2 节中，分别解释了低分辨率图像中的虹膜识别和眼部识别。

3.1具有低分辨率图像的虹膜识别方法

现有的使用低分辨率图像的虹膜识别可以分为图像处理方法、机器学习方法和深度学习方法，分别在3.1.1-3.1.3节中进行了更详细的介绍。

3.1.1图像处理方法

Liu 等人 [50] 通过代码级方法实现了异构虹膜识别。异质虹膜识别是指交叉质量或交叉条件影响注册和获取的图像的情况。在交叉质量情况下，尝试使用高分辨率图像对低分辨率图像进行识别，或者在不同环境中获取的图像的交叉条件情况下，性能下降。因此，在本研究中，我们通过马尔可夫网络应用模型提取虹膜的特征，并通过代码级别的匹配进行识别。这种方法仍然需要道格曼的橡胶板模型，并且如果不能保证预定水平的输入图像质量，则存在识别性能可能会下降的缺点。 Deshpande 等人 [51] 提出了使用多帧图像的虹膜超分辨率和识别方法。他们使用基于手工制作的方法方法。首先，他们在多帧图像中选择最佳帧，然后进行对齐。然后，选择补丁，它们提供高斯过程回归 (GPR) 和增强迭代反投影 (EIBP) 以实现超分辨率。最后，使用神经网络分类器对这些重建的高分辨率虹膜图像进行分类。 Alonso-Fernandez 等人 [52] 提出了使用 eigen-patch 的基于 PCA 的虹膜超分辨率方法。在这种方法中，他们学习每个补丁的特征并生成特征补丁幻觉，以应用重新投影来重建高分辨率图像。此外，为了进一步提高重建高分辨率图像的性能，它们采用 PCA 变换，并应用了匹配器融合 [53]。 Deshpande 等人 [54] 提出了基于 Papoulis-Gerchberg (PG) 和投影到凸集 (POCS) 方法的虹膜特征超分辨率。该方法对图像特征进行分析，并对更多高质量的虹膜特征进行增强。 Jillela 等人 [55] 使用基于主成分变换 (PCT) 的信息融合对低分辨率虹膜视频进行了虹膜识别实验。这使用了PCT提供的特征向量，与相关的基于图像处理的方法相比，该方法显示出更好的识别性能。

3.1.2机器学习方法

Liu等[56]提出了基于改进的马尔可夫网络模型的代码级信息融合，用于低分辨率虹膜图像。使用马尔科夫网络模型，他们将所有虹膜图像转换为虹膜代码。然后，它们使用汉明距离匹配在这些转换后的虹膜代码之间进行匹配。 Alonso-Fernandez 等人 [57] 提出了一种更复杂的方法，该方法使用基于学习的方法，而不是以前的方法 [53]。在该方法中，应用多层局部约束迭代邻域嵌入方法来实现从低分辨率图像重建高分辨率的目标。

3.1.3.深度学习方法

Zhang 等人 [58] 提出了优化的序数测量 (OMs) 特征和基于 CNN 的方法。首先，在移动设备上进行虹膜识别的检测和裁剪ROI（region of interest）区域过程。这些经过预处理的图像被传递给提出的 CNN 模型。这是一个简单的架构，但他们利用了成对的 CNN 模型。它提供了两个虹膜之间的相关性。此外，生成的图像特征是使用序数特征选择计算的，并与这些成对特征融合。最后，该方法在移动设备上显示了高性能。 Ribeiro 等人 [59] 应用 SR 方法来重建图像，以防止在输入低分辨率图像进行虹膜识别时识别性能下降。为了从输入的低分辨率虹膜图像重建高分辨率图像，他们使用堆叠自动编码器和具有三个卷积层的 CNN，类似于之前针对 SR 研究的 SRCNN 模型。然后，他们比较虹膜识别性能。在各种学习方法中，微调后的 CNN 在实验中表现最好。由于虹膜识别应用于许多低分辨率环境（移动环境等），Ribeiro 等人 [60] 对 SR 方法进行了实验，该方法从低分辨率图像重建高分辨率图像，为这种情况做准备。为了确定在仅使用虹膜纹理应用 SR 和使用自然虹膜图像应用 SR 时图像的重建效果如何，他们对每个深度学习模型和每个数据库进行了试验。此外，他们还进行了实验以检查图像在不同低分辨率下的重建效果。诸如加权自适应霍夫和椭圆极变换 (WAHET)、二次样条小波 (QSW) 和波长复数 GaborFilterbanks (CG) 等方法用于识别。然后，使用 SSIM、PSNR 和汉明距离来评估基于 EER 的 SR 性能。 Kashihara 等人 [61] 提出了一种基于 SRGAN 的改进型 SR 方法，该方法之前被研究用于研究 CNN 用于虹膜识别的 SR。为了提高 SR 性能，他们使用深度 CNN (DCNN)，将内容损失应用于 SRGAN 重建的图像。这是为了预测和测量使用 DCNN 对从超分辨率重建中获得的图像的准确性，基于此影响 SRGAN 的损失以反映在重建性能中。为了训练低分辨率和高分辨率虹膜图像之间的映射函数，在训练阶段，Ribeiro 等人 [62] 将原始虹膜图像和人工低分辨率图像结合起来，通过将原始图像缩减为较低的分辨率并使用插值将其转换回较高的分辨率。他们使用各种 CNN 模型（VDCNN、SRGAN、DCSCN 等）和多个数据库进行实验，例如可描述纹理数据集 (DTD)、CASIA-iris-v3-Interval和可见光谱智能手机虹膜数据库（VSSIRIS）。 Guo 等人 [63] 提出了一种 IrisDnet 模型，用于从低分辨率虹膜图像重建高分辨率图像。从低分辨率图像重建高分辨率图像后，将其与原始高分辨率图像一起输入模型，在此基础上计算对抗性损失和身份保持损失来训练模型。 Mostofa 等人 [64] 提出了基于条件 GAN（cGAN）的跨光谱和跨分辨率虹膜识别。他们进行了各种实验案例，包括高分辨率 NIR 图像与低分辨率可见图像，以及所有这些组合。表 3 总结了上述基于低分辨率图像的虹膜识别研究。

表 3. 使用低分辨率图像进行虹膜识别的研究（参考和照明表示参考和照明）。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KgRhRyOY-1661001691635)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820212031491.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z0caacdU-1661001691635)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220820212053174.png)]

3.3.分析与讨论

在低分辨率虹膜和人眼识别中，最终的性能取决于原始图像特征的重建程度。然而，在从低分辨率图像重建高分辨率图像的 SR 研究中，除了 [50] 之外，很少研究传统的图像处理方法，因为它们具有一定的局限性。然而，最近，由于 GPGPU 的积极发展，深度学习方法得到了研究，许多研究人员将其应用于 SR 并实现了高性能。这种深度学习 SR 研究已积极应用于虹膜和眼部识别。通过实验结果，最近研究的深度学习 SR 与传统的图像处理 SR 方法相比表现出显着更高的性能。通常，在尝试使用移动设备上或远处的低分辨率相机进行识别的情况下，会生成用于虹膜和眼睛识别的低分辨率图像。然而，由于没有此类低分辨率图像的数据库，因此许多研究通过任意缩小高分辨率图像进行了实验。使用基于低分辨率图像的重建进行识别时，会遇到以下情况，必须解决这些情况才能实现高性能的识别系统。

– 基本上，即使将低分辨率图像从高分辨率图像缩小，也会丢失很多信息，从而导致仅使用低分辨率图像的信息重建高分辨率图像的困难。因此，在实施重建方法时，需要一个包含低分辨率和高分辨率图像的数据库。

– 深度学习 SR 研究需要一个包含许多图像的数据库，因为必须训练深度学习模型。然而，由于生物特征图像的特性导致隐私问题，许多图像，尤其是低分辨率图像，难以获得。因此，使用了人工增强方法，但可能导致训练过度拟合。因此，必须研究替代方法来解决这个问题。

– 大多数 SR 方法研究通常使用 PSNR 或 SSIM 等传统方法来评估重建图像的质量。然而，当使用这些时，很难评估图像是否已正确重建，因为无法知道图像是否已被重建。因此，为了获得准确的识别性能，应该研究确定图像重建程度的方法。

4. 结论

在这项研究中，我们研究了基于高分辨率图像的虹膜和眼睛识别方法，并回顾了应用 SR 方法解决低分辨率图像用于识别时出现的问题的研究。此外，我们分析了每项研究并检查了它的问题。增加实现虹膜识别系统难度的一些重要障碍是（i）准确提取虹膜区域分割并从虹膜特征中提取独特特征以区分每个人。 (ii)为了解决这些问题，研究了使用整个眼部区域的眼部识别生物识别方法。 (iii) 这里也获取了图像并用于人眼识别，根据环境的不同，可能会获得低分辨率的图像，这可能会导致系统精度出现问题。

近年来，在获取低分辨率图像的环境中积极研究的基于深度学习的 SR 方法可以实现与高分辨率图像系统相似的性能。这可以降低在安全环境中应用生物识别系统时的实施难度，从而提高配备日常生活中常用移动设备的环境中的安全级别。

这些研究的结果越来越多地应用于日常生活中，例如豪华轿车中的远程驾驶员识别以及基于远距离虹膜和眼睛识别的酒店和度假村的VIP成员的监督。此外，智能监控系统可用于寻找失踪儿童、失智老人和罪犯。

为了保证这些应用中的系统可靠性，应该研究对遮挡、相机多样性和对象定位具有鲁棒性的算法。此外，应该研究一种轻量级算法，以便在汽车和监控摄像头环境中的低处理能力嵌入式系统中采用。

车中的远程驾驶员识别以及基于远距离虹膜和眼睛识别的酒店和度假村的VIP成员的监督。此外，智能监控系统可用于寻找失踪儿童、失智老人和罪犯。

为了保证这些应用中的系统可靠性，应该研究对遮挡、相机多样性和对象定位具有鲁棒性的算法。此外，应该研究一种轻量级算法，以便在汽车和监控摄像头环境中的低处理能力嵌入式系统中采用。