【论文阅读】“Attention-Based Two-Stream Convolutional Networks for Face Spoofing Detection”

论文阅读：“Attention-Based Two-Stream Convolutional Networks for Face Spoofing Detection”

论文地址：https://ieeexplore.ieee.org/document/8737949

2020 期刊TIFS发的论文

本文针对的问题：对不同拍摄设备、光照下的数据集，face anti-spoofing的性能差距较大

目的：提出一个CNN，能适应不同环境的光照即一个光照不变的face anti-spoofing method

本文的创新点：

1、提出了一个two-stream CNN（TSCNN）二通道的CNN网络，其中两种互补的信息 RGB和MSR 作为输入

2、为了有效的融合这两种信息，提出用 attention-based的融合方式

3、在3个流行的数据集上进行了实验，并做了跨数据集的实验，并得到了很好的实验结果

---

II RELATED WORKS

A.活体检测

简要介绍近几年face anti-spoofing 的一些方法

1）基于纹理的方法：纹理主要是寻找不同的纹理信息特征 这些特征分为传统的手工特征和深度学习的特征

2）基于图像质量的方法：

3）基于动作的方法：如眨眼、嘴唇动、头晃动等

4）基于反射

5）基于多特征融合的方法：[29]提出融合视频动态信息和纹理，[9]提出一个三个的多尺度滤波方式，并对其融合

6）其它：3d深度信息[30]-[32]

以上这些方法对统一数据库内都能获得较好的性能，但是在不同数据集间性能降低很大

由于不同数据库：不同的获取设备、不同的图片环境、不同的光照、不同的人脸姿态等

对此，本文提出一种对光照鲁棒的，对强光照环境和没有光照环境都泛化性强的face anti-spoofing的方法，并在几个数据集上获得很好的性能

---

B.Multi-Scale Retinex (MSR)

一种在图像增强领域常用的方法

本文应用MSR是因为：1）MSR能够将图片的光照成分和反射成分分离，将光照成分去除利用反射信息做活体检测；2）MSR可以作为一个高通滤波，保留 real和fake faces 之间有分辨力的高频信息

附MSR参考链接：

https://blog.csdn.net/bluecol/article/details/45675615

https://blog.csdn.net/ajianyingxiaoqinghan/article/details/71435098

---

D. Visual Attention Model （AM）

一种常用在文本处理自然语言处理的AM模型

用这个方法对RGB和MSR进行特征融合

https://blog.csdn.net/cicisensy/article/details/82670191

---

III. METHODOLOGY 本文的方法

RGB对光照很敏感但是拥有详细的脸部纹理信息，MSR与关照无关但是缺少微小的脸部纹理

因此本文提出一个二通道的CNN，将RGB图像和MSR图像各自单独输入，再进行AM融合

A.The Retinex Theory

B. Two Stream Convolutional Neural Network (TSCNN)

---

如图是整个网络框架 一个二通道输入网络

TSCNN包含两个单独的输入 RGB图片和MSR图片，并从两个子网络的最后一层卷积层获取特征，

给定一张输入的照片或是一帧视频，先用MTCNN对人脸进行和关键点进行检测，利用放射变换对检测到的人脸进行对齐

对RGB通道：从视频序列获取一帧帧RGB图

对MSR通道：对每一帧RGB图像先预处理成灰度图，然后想 fig2.B那样处理

作者用了两个网络 MobileNet 和 ResNet-18 并在 ImageNet 上预处理

最后为了有效的融合特征 如图fig2.C 用attention model进行融合

公式化：

F函数将RGB特征和MSR特征融合

TSCNN的优化函数如下：

其中C是分类器，l是损失还是，N是样本数量，y是标签

骨干深度网络

为了防止数据不足带来的过拟合，将 MobileNet 和 ResNet-18 并在 ImageNet 上预训练，在face spoofing database上微调，二分类函数cross-entropy loss 用来处理（real vs fake）

其中i是第i个训练样本，N是训练样本的数量， 是第i个样本的预测，y是第i个样本的标签

C.Attention Based Feature Fusion

给定特征{ fi , i = 1, ..., N}，我们学习每个特征的权重{wi , i = 1, ..., N}，并得到融合的特征v

关键的地方就在与权重的学习，在这里，我们的N为2，即fRGB和fMSR

除了学习权重还要学习和特征保持一样维度的核函数q，用来过滤特征向量

过滤产生的向量di表示特征的重要性 

我们把重要性转化成权重

利用反向传播和随机梯度下降学习权重

---

IV. EXPERIMENTS

三个数据库：

CASIA Face Anti-Spoofing Database：

REPLAYATTACK database：

OULU database：