活体识别4：论文笔记之《Face Spoofing Detection Using Colour Texture Analysis》

说明

本文是我对论文《Face Spoofing Detection Using Colour Texture Analysis》做的一个简单笔记。
这个论文是芬兰奥卢大学(Oulu)课题组的一篇很有代表性的论文，写于2016年，使用的是“手工特征+SVM分类器”这种比较传统的方案，方案不复杂，效果还不错。也适合改造后在嵌入式端做部署。
其基本原理就是在RGB色彩空间分辨真假脸有困难，但是发现在YCbCr和HSV色彩空间相对容易区分。这篇文章的主要思路来自该课题组2015年的一篇文章，有兴趣可以看看《FACE ANTI-SPOOFING BASED ON COLOR TEXTURE ANALYSIS》论文链接这篇论文。

论文内容

本篇使用的数据集有：CASIA Face Anti-Spoofing Database, Replay-Attack Database 和 MSU Mobi l e Face s pooof Database。可以看到前两个是上篇文章中也在使用的。
本文的出发点仍然没变，由于缺乏高频信息，假的人脸经过两个不同型号的相机成像和一次打印或显示，将会导致图像质量下降，而且复制的图像也会引入额外的噪声。色彩再现的过程中，其呈现的颜色也无法和真实的人脸相比。如下图，打印的色域是有限的。

以往的方案往往使用灰度图像来进行活体识别，只利用了图像的亮度信息，忽略了色彩的纹理信息。当图像分辨率很高（或图片质量很好）时，真假人脸的区分度还比较高，但是如果是裁剪的人脸小图，则看不出明显的纹理差异（如图1）。但是色彩的某些分量可以看出较明显的差异。
本工作扩展了我们在《FACE ANTI-SPOOFING BASED ON COLOR TEXTURE ANALYSIS》中提出的基于颜色纹理的初步方法 ，并对彩色纹理分析用于人脸欺骗检测进行了深入分析。除了在 我们之前的工作中使用的LB P算子，我们还使用其他四个算子来探索面部颜色纹理:LPQ算子、CoLALBP算子、BSIF算子和SID算子。
该文第二章节对之前的一些活体识别方案做了一个综述，最后结论是单个方案很难对所有的场景都有效，将多个方法联合起来才能具备更好的鲁棒性和泛化能力。
该文第三章节开始讲使用彩色进行活体识别的依据。
首先是一个图，如下，分别计算真脸和打印假脸、视频假脸及另一个真脸的相似度，相似度用LBP直方图的卡方距离来表示。总之，在最下面的真脸对比中，无论是灰度图片还是YCbCr空间中，两张真脸的相似度都比较高（距离小）。在和打印假脸、视频假脸的对比中，灰度图无法有效区分假脸，因为它们与真脸图片的相似度都比较高（距离小），而在YCbCr空间中，Cb通道和Cr通道中真脸图片和假脸图片相似度较低（距离大），有较明显的区分度。

如果上面的说法有点抽象的话，下图则更形象。下图是Replay - Attack数据LBP直方图的平均值。 可以看到真假人脸的灰度图的LBP直方图比较相似。而YCbCr空间的Cr、Cb通道的LBP直方图差异较大。这是因为人眼对亮度更敏感，所以各种色彩映射算法都优先保证亮度值的相似。这也是为啥灰度图无法有效区分真假脸。假脸在重新拍照、印刷的过程会导致颜色失真并引入了噪声，同理也适合显示回放攻击。

本文讨论的方案如下图所示，先在图片中检测人脸并将人脸统一裁剪缩放为一定的大小。然后从人脸图片的各个色彩通道中提取特征，最后将各个通道的特征向量拼接在一起作为整个人脸的表征。拼接后的特征向量送入一个二值分类器，用以判别是真脸还是假脸。从不同颜色空间提取的特征向量可以进行融合来获得更好的性能。

本文主要考察了RGB、HSV和YCbCr三种颜色空间。
在算子的的选择上，本文使用了以下5中算子来对人脸的颜色纹理进行分析：LBP算子、LPQ算子、CoLALBP算子、BSIF算子和SID算子。
效果怎么样还要通过测试数据来说明。上对比。



为了探索特征提取方法和颜色空间的组合效果，作者在三个数据集上做了测试，就是上面三个表格的内容。明显可以看出来，无论哪个数据集上，彩色图片的效果都远远好于灰度图的效果，而且在三个颜色空间中，YCbCr和HSV明显好于RGB。在前两个表格中，CoALBP算子表现最好，在最后一个表格中，LPQ算子和YCbCr的组合表现最好。
所以作者最终选择了LPQ、CoALBP两个算子得到的特征做融合，在YCbC、HSV这两个颜色空间上做了对比测试，如下图。结果发现YCbC、HSV这两个颜色空间得到的特征再做组合效果最好。因为有两种特征算子和两个颜色空间，总共就是4种特征了，组合起来计算量小不了。果然融合大法好。

最后是喜闻乐见的踩拉环节，如下表，融合起来效果杠杠滴。

参考资料

活体识别3：论文笔记之《FACE ANTI-SPOOFING BASED ON COLOR TEXTURE ANALYSIS》

《Face Spoofing Detection Using Colour Texture Analysis》论文地址

《FACE ANTI-SPOOFING BASED ON COLOR TEXTURE ANALYSIS》论文链接

目前局部纹理特征分析常用的算子：https://zhuanlan.zhihu.com/p/393873880

【CV】图像特征提取：LBP：https://zhuanlan.zhihu.com/p/556382573