活体检测 LGSC 论文学习笔记

论文题目：Learning Generalized Spoof Cues for Face Anti-spoofing

论文链接：https://arxiv.org/pdf/2005.03922.pdf

代码链接：GitHub - VIS-VAR/LGSC-for-FAS: Learning Generalized Spoof Cues for FaceAnti-spoofing

动机

近期的基于深度学习的 FAS 方法专注于提高模型的泛化能力并取得了不错的结果。但是，这些模型在数据集内进行测试的效果很好 (过拟合)，在跨数据集上测试的效果并不好，它们的泛化能力受到了欺骗样本多样性的限制。真人样本由于具有相同的性质可以假设为一类，但由于假体攻击媒介的多样性，欺骗样本通常是多样的。

创新点

（1）从异常检测的角度重新定义 FAS，并提出了一个假体线索生成器，该生成器能对真假人脸中的假体信息进行建模，建模的方式是最小化活体样本中假体线索，对假体中的假体线索则不做限制

（2）提出了一个残差学习框架，将生成器生成的假体线索通过残差连接添加到输入图片中，这使假体线索更具辨别力，并进一步提高假体线索的泛化能力

方法论

受异常检测的启发，作者假设活体样本属于一个闭空间，而假体样本属于这个空间的异常点，即假体样本处于开空间。基于此，进一步假设活样本的分布位于学习的特征表示空间中的一个紧凑球体中，而假体样本则远离这个球体的中心。具体来说，FAS 模型的输入空间 X 和输出空间 Z， 为带有 L 个隐藏层的神经网络，该网络可以将 X 映射到 Z。给定个活体样本和个假体样本，为Z空间中活体样本的中心，网络的学习目标如下：

在测试阶段，预测输入为假体的概率由如下公式定义：

此外，作者利用对活体样本的显式回归监督以及对活体样本和假体样本的隐式度量学习监督优化上述公式。

受残差网络的启发，作者认为活体和假体样本之间的判别性差异由这些样本间的残差决定。作者将这些判别性差异定义为假体线索 (spoof cues)，并假设假体线索仅存在于假体样本中。基于以上分析，作者设计了一个由假体线索生成器和辅助分类器组成的残差学习框架。在线索生成器中，将回归损失引入到活体样本的优化中，对假体样本的优化则没有明确的约束，这提升了假体线索的泛化能力。辅助的分类器则可以看作是假体线索的放大器，帮助模型学习更具判别力的假体线索。

整体网络架构如下图所示：

假体线索学习框架

在假体线索生成器中，作者使用 U-Net 来生成假体线索，选择 U-Net 网络是因为它能在多个尺度上建立从编码器到解码器的跳跃连接。作者选择在 ImageNet 上预训练好的 resnet18 作为编码器 E，里面包含了 4 个残差模块。在 E 后面接着一个解码器 D，它由 5 个残差模块组成，用于解码信息并生成假体线索。在 D 后面是 Tanh 激活层，用于生成输出结果 C。由于假体线索仅存在于假体中，因此对于活体样本，假体线索图被置为全 0 图。对于假体样本，假体线索图应为未知的非 0 图。为了缓解假体多样性对决策边界建模的影响以及使得假体线索更具判别力，作者对活体样本引入了像素级的回归监督，公式如下：

为了使活体样本更加紧凑和假体样本更加分散，作者在特征 embedding 空间中引入了多尺度的三元组损失。具体来说，作者利用全局平均池化从 E5 到 D4 中获取特征向量 V，度量学习的损失函数公式如下：

为了学到更具判别力的特征，作者使用了辅助分类器进行训练，该分类器的输入是一个叠加的图像，由假体线索图 C 与输入图像 I 叠加得到。分类器的损失函数如下：

损失函数

整体损失函数由三部分组成，公式如下：

测试策略

在测试阶段，作者选择假体线索图 C 而不是分类器的输出来估计输入是真人还是假体，最终的分类分数就是对 C 求均值，分数越高，假体的可能性越大，公式如下：

实验结果

数据内的测试结果如下：

跨数据集的测试结果如下：

消融实验结果如下：

可视化结果如下：

结论

作者从异常检测的角度出发并重新定义 FAS，假设活体样本属于一个封闭区间，而假体样本是这个封闭集的异常值，属于一个开放集。此外，作者提出了一个残差学习框架来学习泛化性强的假体线索。整体网络由一个假体线索生成器和一个辅助分类器组成，实验证明该网络提高了假体线索的泛化性。