【活体检测模型】活体检测思路推演

ref:https://arxiv.org/pdf/1611.05431.pdf
https://github.com/miraclewkf/ResNeXt-PyTorch
用分类的思想做活体检测,要求准确的分出正负样本,否则,支付宝被别人用了,问题就很严重。
大部分的商用场景还是 摇摇头、张张口,配合动作来做。但其实这件事很尬,尤其是人多的时候。
所以分类上有所突破是关键。
数据集:CASIA-SURF dataset
如何提升准确度?

1.需要细粒度的分类

Real 与 Attack 在整体上差别较小,但在细节上差别较大。
【活体检测模型】活体检测思路推演_第1张图片
抠出patch块特征,眼睛、鼻子、嘴…等等。
用固定位置去抠,或者整张图去抠。
一张图片抠多少个块???这是一个网络的超参数。patch的大小是多少32*32??
抠20个patch,然后投票,看是否能再二分类的基础上有提升??

融合训练

RGB三通道+depth+IR 变成 5个channel的32*32 来融合可以尝试一下。
作者用的是Multi-stream fusion with MFE: 多模态擦除式融合

【活体检测模型】活体检测思路推演_第2张图片
concat和add是不一样的, concat会保留更多的特征。但是融合多了会有过拟合风险。
数据量每增加多少,而模型的参数量却扩大了三倍(因为是单独提的特征)。就容易发生过拟合。
作者在论文中drop的不是神经元,而是模态!!!!
从三个模态中随机选择一个模态设置成0;
dropout 不适合cnn?
dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是「暂时」,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。

Dropout类似于bagging ensemble减少variance。也就是投通过投票来减少可变性。通常我们在全连接层部分使用dropout,在卷积层则不使用。但「dropout」并不适合所有的情况,不要无脑上Dropout。

Dropout一般适合于全连接层部分,而卷积层由于其参数并不是很多,所以不需要dropout,加上的话对模型的泛化能力并没有太大的影响。

可以用 dropbock
问什么要用近红外图,相比于深度图和rgb图有什么其它信息?

【活体检测模型】活体检测思路推演_第3张图片
真假样本非常不均衡,真的只有1个,假的6个。
ref:https://zhuanlan.zhihu.com/p/432851296

你可能感兴趣的:(深度学习,人脸识别,学习)