人脸遮挡识别的研究挑战和方向

1.分类 MFR

        MFR 骨干模型设计用于处理非蒙面人脸，但经过调整以处理蒙面人脸。因此，人脸验证或人脸识别通常在文献中作为二元分类任务处理，即对未识别的身份进行识别。 Softmax 损失已广泛应用于检测面罩或通过为每个身份训练一个类别来训练多类别分类器来识别脸部本身。 Triplet loss 是另一种成功的方法，用于通过比较不同的输入身份来学习嵌入，从而最大化类间距离。然而，在检测或识别阶段可以考虑更多类别，例如考虑分类器通过将带有掩模的面部图像分为正面和侧面部分来估计头部姿势、多姿势掩模人脸检测，或人体部位学习。此外，可以通过深度学习模型学习蒙面人脸的具体描述，以扩展人脸识别的决策，以结合处理蒙面类型、人脸姿势、人脸遮挡等。

2.数据集变化

        在基准测试数据集中使用带有面具的真实人脸仍然是 MFR 系统有效性的一个重大挑战。尽管可以使用生成合成面罩的数据增强和面罩工具，但仍需要在不同类型的真实面罩（包括纹理面罩）下评估 MFR 算法。在使用实际掩模收集的真实世界图像上专门测量实时 MFR 算法的性能通常会很有帮助。除了数据集图像中存在的变化之外，还需要开发处理同一图像或场景中出现的多个人脸或主体的 MFR 算法。 MFR 设计和实现主要针对具有对掩模的算法敏感性的单张脸。因此，预计将提供更多公开的数据集，这些数据集在掩模类型和受试者方面具有足够的变化，以便对 MFR 算法的准确性提供自信的决策。此外，考虑通过具有各种面部表情的图像来丰富训练和基准测试数据集是有益的，以通过操作主题来强调 MFR 系统。

3.非合作 MFR

        值得一提的是，大多数 MFR 方法确实考虑人们以合作方式操作，并且以不受约束的面部图像看着相机。然而，在许多场所（例如医院和公共设施），对摄像头不配合的行为也是一种常见的做法，这对安全认证系统的适用性提出了挑战。因此，将蒙版图像与未蒙版身份进行匹配需要考虑非合作对象的属性，其中存在更多被遮挡的面部部位。考虑了非合作面孔，但仅考虑了行人图像。然而，一些基于其他生物识别技术的识别技术可以用来处理戴口罩的非合作人员，例如用于非合作虹膜识别的深度多任务注意网络、异构掌纹识别和瞳孔形状与 GAN 生成的面孔。

4.学习掩模去除和面部恢复

        MFR 领域中应该强调的常见差距之一是算法有效学习掩模去除和面部恢复的能力。值得注意的是，非基于学习的 MFR 算法仅限于从图像中去除小目标，而基于学习的算法，例如 GLCM ，可以完成面部图像中的随机损坏区域。然而，学习此过程仅限于相对较低的图像分辨率，从而导致位于图像边缘的损坏部分产生伪影。即使使用 GFCM，在处理大型移除零件时，面部完成度也会受到影响。一些基于深度学习的方法仅使用普通卷积作为其深度学习网络的骨干。此类卷积网络在整个图像中应用相同的滤波器权重，无论该区域是有效还是受影响。这有助于实现良好的预测，但会导致严重的视觉伪影，特别是在有效和受影响的面部区域的边界处。特定领域的深度模型，如 VGGFace、FaceNet、OpenFace 和 DeepFace 也可以与鲁棒的人脸补全算法相结合，以提高 MFR 系统的学习能力。

5.3D 面部重建

        更多的注意力将转移到 MFR 系统中使用 3D 面部重建而不是 2D。 2D 人脸识别仍然受到其对姿势和人脸遮挡照明的敏感性的限制。许多现有算法都使用了蒙版人脸的 3D 表示，包括 MaskTheFace的 FID 和 WearMask3D蒙版方法。其他有效的技术也可以被重新邀请和研究用于 MFR 任务，例如掩模自适应投影 、多视图识别和 3D 可变形模型。

6.算法复杂度

        与 FR 系统一样，MFR 系统必须处理较高的类内差异。大多数MFR场景的基于深度学习的技术在训练阶段会遇到巨大的算法复杂性，因此在测试和操作期间需要计算能力，这对于紧凑型设备和实时系统来说是不利的。需要可行的解决方案来应对这一挑战，以便以最小的性能下降为代价实现更高的速度和更低的内存。为了应对 MFR 系统的计算成本，可以重新审视或采用许多有效的解决方案。一种在有限计算资源上训练的人脸识别深度模型。它通过特征回归仅近似最具代表性的面部线索，并通过低分辨率面部分类恢复丢失的面部线索。还提出了一种高精度、低延迟的人脸对齐网络，称为 MaskFAN ，作为资源有限设备的蒙面人脸对齐的轻量级骨干网。它涉及改进的损失函数和数据增强模块，以提高基于深度可分离卷积和组操作的模型性能。

        一种特定于姿势的分类系统，以较低的计算成本提供更好的分类。应用了实时瞳孔定位和跟踪佩戴面部配件（包括面罩）的驾驶员。它通过对图像进行分类然后分配适当的眼动仪来考虑低复杂性和算法性能的关键要求。他们对非遮挡面部使用基于回归的算法，而眼睛位置估计则应用于遮挡面部区域跟踪。

7.MFR竞赛

        由于缺乏公开的大规模真实 MFR 基准数据集，因此提出了许多竞赛、研讨会和挑战报告，旨在加速实际 MFR 的进展。 WebFace260M MFR 挑战赛的组织目的是根据预定义的性能阈值在新的大型数据集上评估参与的 MFR 算法。这项挑战还被另一个名为 InsightFace的 MFR 挑战所扩展，其中提供了包含 14,000 个身份的儿童测试集，其中提供了包含 242,000 个身份的多种族测试集。 MFR竞赛也旨在激发新的解决方案来提高MFR的准确性，其中考虑了MFR模型在紧凑性方面的可部署性。提交的算法在代表多会话和真实屏蔽捕获场景的私有数据集上进行了评估。组织了轻量级 106 点面部标志定位的另一项重大挑战，旨在提高现实世界蒙面人脸的面部标志定位的鲁棒性。提交的解决方案在一个名为 JD-landmark-mask 的新数据集上进行了评估。此类公共活动将有助于提供更强大的 MFR 解决方案以及新的基准测试集。