活体检测技术

活体检测技术

应用场景

金融支付，门禁，打卡机等应用场景。任务目标为判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击。任务难点主要是：

• 攻击源分布过于广泛
• 不同攻击源之间差距不明显
• 使用场景限制检测方法
• 当前开放样本数据不足
  
  2019世界黑帽安全大会，腾讯公司演示了攻破苹果Face ID。
  工具为：一款特制眼镜，眼镜镜片上贴有黑色胶带，黑色胶带中心还贴有白色胶带。《福布斯》的记者们决定使用 3D 打印石膏人脸攻击手机的人脸识别功能。 在一通测试之后，他们发现石膏人脸竟可以破解当时四种流行旗舰手机（LG G7 ThinQ、三星 S9、三星 Note 8 和一加 6）的 AI 人脸识别解锁功能。

发展路线

1 攻击方式的发展

2辅助硬件的发展

近红外活体检测：利用近红外成像原理，实现夜间或无自然光条件下的活体判断。其成像特点（如屏幕无法成像，不同材质反射率不同等）可以实现高鲁棒性的活体判断。

3D结构光活体检测：基于3D结构光成像原理，通过人脸表面反射光线构建深度图像，判断目标对象是否为活体，可强效防御图片、视频、屏幕、模具等攻击。

3 检测技术的发展

目前主流的活体解决方案分为配合式和非配合式活体
–配合式活体需要用户根据提示做出相应的动作从而完成判别
–非配合式活体在用户无感的情况下直接进行活体检测，具有更好的用户体验。

针对活体检测方法归纳为两大类：
–基于描述子的分析方法，比如纹理、运动、频率、颜色、形状或反射率
–基于分类器的分析方法，比如判别式、回归、度量学习等

基于纹理描述子的方法：打印照片中存在着活体中不存在的某种特有的纹理信息，其差异性比较明显。
基于运动描述子的方法：从两种不同的运动方法角度进行活体检测．一是检测和描述人脸变化，例如眨眼、表情变化和头部旋转．二是评估用户交互环境中的一致性。
基于形状描述子的方法 ：用于区分打印照片是非常有效，因为活体人脸几何特征是无法在打印照片平面上重现的。
基于频率描述子的方法 ：基于活体和非活体人脸图像在频域中的差异性提出．结合高频描述子和动态傅里叶频率描述子分析人脸：(1)照片是平面结构，所以产生高频分量应该小于活体人脸的成像；(2)因为脸部缺少表情变化，所以使得频率分量的标准差较小
基于反射率描述子的方法：考虑到活体和非活体的人脸图像在相同光照条件下表现不同，因而可以使用反射信息区分。如变分 Retinex 方法将输入图像分解为反射率和光照成分，以便分析整个图像。

DeepLearning时代

Discriminative Representation Combinations for Accurate Face Spoofing Detection
把活体检测直接放到人脸检测（SSD，MTCNN等) 模块里作为一个类，即人脸检测出来的 bbox 里有背景，真人人脸，假人脸 三类的置信度，这样可以在早期就过滤掉一部分非活体。
Face De-Spoofing Anti-Spoofing via Noise Modeling
启发于图像去噪和图像去抖动，无论是噪声图还是模糊图，都可看成是在原图上加噪声运算或者模糊运算，而去噪和去抖动，就是估计噪声分布和模糊核，从而重构回原图。
文中把活体人脸图看成是原图 ，而非活体人脸图看成是加了噪声后失真的 x ，故任务就变成估计攻击噪声，然后再做分类决策。
Exploiting temporal and depth information for multi-frame face anti-spoofing
综合考虑单帧和多帧时序信息对活体信息的判断，其中多帧部分用来重新构造完善深度图信息，同理还可以利用时序来判断人脸的微表情等信息来判断活体。
远程光电体积描记术 Remote Photoplethysmography (rPPG)系列， 利用反射的周围光来测量皮肤的细微亮度变化，皮肤的细微亮度变化是由于心脏跳动导致的血液流动导致的。
Deep Anomaly Detection for Generalized Face Anti-Spoofing
面部欺诈的攻击样本是无穷的，本文提出一种从异常检测角度重新设计模型。 从技术上讲，提出了一种深度度量学习模型，模型将triplet focal loss用作新的损失（metric-softmax），使具有相同标签的样本在embedding空间尽量接近。使具有不同标签的样本在embedding空间尽量远离。负责指导模型学习过程朝嵌入空间中更具区分性的特征表示迈进。