论文笔记-Searching Central Difference Convolutional Networks for Face Anti-Spoofing

Hello 今天是论文阅读计划的第10天啦，转眼就过去三分之一啦～

接下来的论文笔记，我不会再局限于基于骨架的人体动作识别这块啦，会开始了解和学习下其他方向的论文。目前主要来源是CVPR2020的论文，我会找一些我比较感兴趣的论文来解读～今早已经下载了10多篇，就觉得这样还挺好的挺有趣的。

今天为大家介绍一篇人脸活体检测的论文，貌似也叫人脸反欺骗（Face Anti-Spoofing, FAS）,那就一起来了解了解吧～

一、题目关键词解读

Searching：应该是使用了NAS相关的技术
Central Difference Convolution Networks: 中心差分卷积网络(CDCN)，第一次听，还不知道是什么

二、研究背景

人脸反欺骗在人脸识别系统中起着至关重要的作用。大多数最先进的FAS方法都有如下的不足：

• 依赖于堆叠卷积和专家设计的网络，这在描述详细的细粒度信息方面很弱，并且当环境变化时(例如，不同的照明)很容易无效。
• 更喜欢使用长序列作为输入来提取动态特征，使得它们难以部署到需要快速响应的场景中。

三、研究目标 & 内容

目标：改进上述提到的不足。

内容：作者提出了一种新的基于中心差分卷积的帧级融合方法，该方法能够通过聚集强度和梯度信息来捕获三分之一的细节模式。用中心差分卷积网络(CDCN)构建的网络比用普通卷积构建的网络具有更强的建模能力。此外，在专门设计的CDC搜索空间上，利用NAS发现更强大的网络结构(CDCN++)，可以与多尺度注意力融合模块(MAFM)组装，以进一步提高性能。

四、方法

在人脸反欺骗任务中，强度级语义信息和梯度级细节信息对于区分活动人脸和欺骗人脸至关重要，这表明将普通卷积和中心差分卷积相结合可能是一种提供更鲁棒建模能力的可行方式。因此，我们将中心差分卷积推广为:

x，y分别为输入，输出的feature map；w，为卷积核参数；P0为当前位置，Pn为局部邻域RR的index。最重要的超参θ，范围是 [0,1]，当θ=0时，CDC就变成普通vanilla卷积；当θ=1.0时，就只用了差分信息。当然，这参数可以手工调，也可以自动进行学习，文章里都有对应的消融实验。

这样就能很方便的用几行代码实现了。

CDC搜索空间结构：

MAMF：

CDCN++

五、贡献

• 我们设计了一种新的卷积算子——中心差分卷积，由于它在不同环境下对不变的细粒度特征具有显著的表示能力，因此适用于边缘检测任务。
• 在不引入任何额外参数的情况下，CDC可以替代现有神经网络中的普通卷积，形成具有更鲁棒建模能力的中心差分卷积网络(CDCN)。
• CDCN++是CDCN的扩展版本，由搜索到的主干网络和多层次注意力融合模块(MAFM)组成，用于有效地整合多层次疾病预防控制功能。据我们所知，这是为FAS任务搜索神经架构的第一种方法。不同于以前基于Softmax损失的网络连接存储的分类任务，我们在一个专门设计的码分多址搜索空间上搜索适合深度监督的帧级网络。

六、结论

未来的发展方向包括:

• 为每一层/通道设计上下文感知的自适应编码数据中心；
• 探索其他特性(例如，领域概括)和对其他视觉任务的适用性(例如，图像质量评估和面部取证)

今天是我第一次完全换了课题方向的论文来写笔记，但我从这篇论文学习到了现在的一种处理方式，设计搜索算子，然后利用NAS。以及知道了Multi-scale fusion module 以及 Multi-scale Attention Fusion Module这两个东西～ 文中也提到了细腻度，之后有机会我也会去了解一下下～