MSML：通过基于多尺度分割的人脸识别掩模学习增强遮挡鲁棒性

一、摘要

        本文提出了一种新颖的基于多尺度分割的掩模学习（MSML）网络，它由人脸识别分支（FRB）、遮挡分割分支（OSB）和分层精细特征掩模（FM）算子组成。在 OSB 学习到的遮挡分层分割表示的指导下，FM 操作可以生成多尺度潜在掩模，以消除遮挡引入的错误响应，并净化多层受污染的面部特征。通过这种方式，所提出的 MSML 网络可以有效地识别和消除多个级别的特征表示中的遮挡，并聚合来自可见面部区域的特征。

二、引言

        在现实的无约束场景中，面部可能被遮挡，大多数现有的深度模型都不够稳健。 后来，针对这个问题，有人提出了直接的解决方案，用遮挡图像训练深度模型，以提高鲁棒性；后续又有人提出限制深层网络的过滤器支持以提高鲁棒性。 尽管这些解决方案可以在遮挡样本上恢复一些性能，但深度模型对非遮挡样本的判别能力受到了影响。本质上，这些方法没有适当地处理嵌入空间中被遮挡和非遮挡样本之间的分布失真。 学习掩模是消除分布失真并提高遮挡鲁棒性的关键思想，这种策略减少了特征提取中遮挡的负面影响。一旦获得遮挡掩模，就可以从特征提取中排除可能导致错误响应的像素，并获得更合理的嵌入空间。为此，对于不同层的面部特征，我们生成不同尺度的潜在掩模。 我们提出了一种基于多尺度分割的掩模学习（MSML）人脸识别网络，它可以分层减轻分布失真并提高遮挡人脸识别的性能。所提出的 MSML 网络由人脸识别分支（FRB）、遮挡分割分支（OSB）和分层特征掩蔽（FM）算子组成。

三、网络模型

        网络的总体框架，其中 FRB 和 OSB 由 k 个 FM 算子桥接，k设置为4。 采用编码器-解码器结构来生成分层遮挡分割表示。OSB 由语义分割损失来监督。，在遮挡分割损失的监督下，OSB 可以学习预测像素级遮挡。FRB 是一个由识别损失监督的常规人脸识别网络，嵌入的面部特征向量 v 由 FRB 的第一个全连接层（FC_1）提取。 FM 算子将分割表示转换为潜在掩模，并净化相应层受污染的面部特征。 OSB 的解码器生成分层遮挡分割 Ys ，FRB 生成的多层面部特征 Yf ，在馈送到分层 FM 算子之后，分割表示被转换为多尺度潜在掩模。随后，生成的潜在掩模可以净化被污染的面部特征，缓解多层错误响应问题。 Ys 的更深转置卷积层的输出包含有关遮挡的更精确的位置信息。在从较浅层提取的 Yf 中，由于感受野较小，错误响应主要分布在遮挡位置附近。另外，较浅层的 Yf 缺乏语义信息，较深层的 Ys 与较浅层的 Yf 互补，以相反的方式桥接 FRB 和 OSB。

四、损失函数

        损失分为两种：遮挡分割损失 Locc 和人脸分类损失 Lcls，通过实验，我们发现该模型的训练过程对 λ 的值不敏感。因此，为了方便起见，将λ设置为1。可以选择交叉熵损失或其他 SOTA 人脸识别损失作为 Lcls。考虑到现实遮挡的延续，我们选择共识分割损失作为 Locc。

五、实验

        结果表明，所提出的方法在不同数据集的人脸识别中性能都有所提升。

六、总结

        本文提出了一种基于多尺度分割的掩模学习（MSML）人脸识别网络，它解决了遮挡人脸识别的错误响应问题。在遮挡分割分支（OSB）生成的分层遮挡分割表示的指导下，特征掩蔽（FM）算子可以生成多尺度潜在掩码来净化人脸识别分支（FRB）中被污染的面部特征。净化过程可以基本上消除由遮挡引起的错误反应。通过这种方式，MSML网络可以有效地识别和去除特征表示中的遮挡，并聚合可见面部区域的特征。