用于遮挡人脸识别的局部感知通道丢弃

一、创新点

        （1）提出了一种新颖而优雅的遮挡模拟方法，通过在某些精心选择的通道中丢弃一组神经元的激活，每个特征通道被强制响应局部面部区域，因此，可以丢弃以模拟由于该区域的遮挡而导致的特征损坏的特征通道。具体来说，我们首先采用空间正则化来鼓励每个特征通道响应局部和不同的面部区域。然后，局部感知通道丢失（LCD）：通过丢失一些特征通道来模拟遮挡，以丢弃受相同面部遮挡影响的一组激活。所提出的 LCD 可以鼓励其后续层最小化由遮挡引起的类内特征方差，从而提高针对遮挡的鲁棒性。

        （2）we design an auxiliary spatial attention module by learning a channel-wise attention vector to reweight the feature channels, which improves the contributions of non-occluded regions.设计了一个辅助空间注意模块，通过学习通道注意向量来重新加权特征通道，从而提高非遮挡区域的贡献。

二、网络

        所提出的局部感知通道丢失 (LCD) 的整体架构。采用两个空间正则化损失来鼓励每个特征通道响应局部和不同的面部区域。将我们的 LCD 设置在神经网络的中间深度可以鼓励其后续层最小化由遮挡引起的类内特征方差，从而提高针对遮挡的鲁棒性。然后，我们的 LCD 通过随机丢弃一些特征通道来实现特征级遮挡模拟。此外，辅助空间注意模块学习通道注意力向量来重新加权特征通道，从而提高非遮挡区域的贡献。

        在训练过程中，我们首先对骨干网的浅层阶段（1、2、3）进行前向传播并获得中间特征。然后，我们计算滤波器正交损失L filter SR 和响应正交损失Lresponse SR 。此后，对于每个训练样本 i ，我们得到随机丢弃 γi ，并随机丢弃其中间特征中的 γi 个通道。然后，空间注意力模块学习注意力向量vi，并计算细化特征F`。以 F` 作为输入，主干中的后续层将提取最终的人脸嵌入，并计算人脸识别损失。获得总损失后，整个网络将通过反向传播进行更新。算法 1 正式总结了训练过程：

A. Overview

        所提出的方法尝试学习遮挡鲁棒面部通过在训练过程中模拟遮挡来识别特征。局部感知通道 dropout (LCD)，通过丢弃一组特征通道来模拟遮挡。我们首先采用空间正则化来鼓励每个特征通道响应局部和不同的面部区域。然后，我们的 LCD 通过丢弃一些特征通道来模拟遮挡。此外，为了提高非遮挡区域对学习遮挡鲁棒特征的贡献，我们设计了一个辅助空间注意模块来重新加权特征通道。

B. Locality-Aware Channel-Wise Dropout局部感知通道丢弃

        1）特征通道的空间正则化：为了滤波器（即通道）的局部性感知，需要强制每个特征通道响应不同的局部面部区域，两个损失 L filter SR 和 Lresponse SR ，分别鼓励滤波器及其响应正交。L filter SR 旨在通过惩罚滤波器的相关性来约束滤波器的正交性：

        其中，wpi表示空间位置 p 处的滤波器wi的列，利用第二项 Lresponse SR 来进一步去相关过滤器的响应：

其中fi表示第i个滤波器的响应（即第i个特征通道）。

        我们在图 2 中可视化了通过空间正则化进行正则化的四个特征通道，其中每列显示不同图像的相同特征通道。如图所示，每个特征通道在相对一致的面部部位上激活，例如眼角、眼睛、嘴巴和下巴。此外，如果存在自然遮挡，例如眼镜或围巾，则相应的特征通道激活较少，而在非遮挡区域上激活的其他特征通道不受影响。

        2）通过Channel-Wise Dropout模拟遮挡：给定一个输入特征图F ∈ Rc×h×w，我们首先生成一个与F大小相同的全一掩码矩阵M ∈ Rc×h×w，其中c，h ，w分别表示特征图的通道数、高度、宽度。其次，我们从 c 个通道中随机采样 γ 个不同的通道索引 {r1, r2, .., rγ }。然后，这些通道的掩码值设置为零：

最后通过掩模矩阵与输入的乘积得到LCD的输出：

        其中 ◦ 表示哈达玛积，γ特征图中的所有γ×h×w特征元素将被丢弃为零。在训练阶段，我们的 LCD 充当有效的遮挡模拟，并鼓励网络仅根据剩余特征来识别输入面部，这使其对遮挡更加鲁棒。

        γ 是一个关键参数，它控制着有多少特征通道将被丢弃。换句话说，它决定了在训练过程中将丢弃多少人脸区域。较大的 γ 模拟更严重的遮挡，其中面部的更多区域被遮挡。为了模拟现实遮挡的复杂模式，每个训练样本都需要一个动态 γ。考虑到这一点，γ被设计为满足在（min，max）均匀分布的随机变量。

C. Spatial Attention Module空间注意力模块

        通过随机丢弃响应局部和不同面部区域的特征通道，具有空间正则化的通道方式丢弃通过在训练阶段隐式模拟各种遮挡来实现遮挡不变特征学习。为了在推理阶段进一步集中强调当前输入人脸图像的非遮挡面部特征，设计了一个注意力模块来显式地重新加权特征通道。如图3所示，它使网络集中在一些非遮挡面部部位上激活的特征通道上。

(a) 由于太阳镜和帽子的遮挡，额头和眼睛对应的特征通道激活较少。 (b) 空间注意力模块尝试重新加权特征，使网络关注在非遮挡面部部位激活的通道。

        对于输入特征图 F =[f1, f2, ..., fc]，我们的目标是学习一个控制每个特征通道权重的注意力向量 v =[v1,v2, ... ,vc]。如图1所示，设计了一个轻量级模块来学习注意力向量v。具体来说，我们首先采用1×1卷积层和全连接层来获得所有输入特征图的全局视图。然后，利用另一个全连接层来提取通道注意力向量。

细化特征图 F` 是通过每个特征图 fx 与其对应的注意力标量 vx 之间的通道相乘获得的：

D. Joint Loss Function总损失函数

        采用 ArcFace 作为人脸识别损失。假设我们有一个包含 n 张图像的训练批次，yi 表示第 i 个训练图像的类标签。 θj 定义为特征向量与第 j 类中心之间的角度。 ArcFace 损失的公式为：

其中 m 表示角裕度，s 是特征缩放参数。

总损失函数是人脸识别损失和上述空间正则化损失的加权和：

其中 α 和 β 分别是滤波器正交损失和响应正交损失的损失权重。

三、消融实验

        我们方法的每个组成部分的消融研究，CD：部分通道丢弃。 SR：两个空间正则化损失。 SAM：空间注意力模块。

• 优点

  1）不需要人工合成遮挡。相反，它模拟了中间特征中的真实遮挡。

  2）与之前使用额外模块来检测或恢复遮挡区域的工作不同，在推理阶段略微增加了模型复杂性。

  3）是一种更实用的方法，可以与任何现有的人脸识别方法无缝集成，以提高遮挡的鲁棒性。