读论文《基于GCN的手指生物特征识别方法研究》

手指生物特征识别技术研究现状

人脸、指纹、步态、虹膜、静脉、笔迹等生物特征进入社会的各个领域，在身份认证、休闲娱乐、交通安检、刑侦鉴定等方面都有出色表现[1]
具有实际使用意义的人体生物特征必须要具有广泛性、唯一性、永久性、可采集的性质，即要求每个人都具有的特征且每个人的表现都各不相同，这些生物特征不能随时间发生大的改变以及尽量降低采集设备的成本且便于采集和分析。

指纹

19 世纪末，指纹的唯一性和永久性被证实[2]
传统的指纹识别研究，多是根据各类滤波器来提取指纹方向纹理特征和细节点特征进行特征匹配完成识别过程。
指纹图像增强、指纹的活体检测以及指纹图像分类和端到端的指纹识别技术等[10][11][12]
其安全性能越受到挑战。指纹模态信息裸露而且结构相对简单，所以更容易被复制，指纹造假的现象也时有出现。且由于指纹的分布特性，指纹磨损以及手部的干湿状态等都对其采集和识别带来很大干扰。

指静脉

因其处于皮下静脉组织，指静脉基本不存在破损或者污染的现象，且更加不易被伪造，所以在安全性能方面较其他生物特征有更大优势。在指静脉信息采集过程中，由于其独特的依赖于血液的成像原理，指静脉还具有活体性质，使指静脉识别系统受到欺诈的可能性降低。

手指静脉的特征区别体现在静脉血管的网络结构，因此对指静脉的研究关键在于对血管网络结构特征的提取。

Tang等人提出基于深度可分离卷积的轻量型神经网路手指静脉识别方法，具有一定的降低网络计算复杂度的作用[22]。

指节纹

指节纹特征非常丰富，跟其他生物特征相比具有较简单的成像机制，且成像十分清晰，较指纹而言区分度更高。
Kong 等[28]借助传统的决策层多模态融合方法，把指节纹的 Gabor 滤波特征作为基础特征，然后根据预设的阈值产生新的决策规则，实验结果显示该方法对指节纹特征不明显的图像增强了识别效果。

多模态

A.K.Jain 与 A.Ross 等人在识别过程的不同阶段进行融合探究，提出了多种融合方法[31]。
刘森[34]用各模态图像的纹理方向直方图粒的特征，像素点作为粒的外延，构建多模态相容粒度空间再进行多模态融合。同组学生白改燕[33]提出一种超球粒化多模态融合策略，首先将三种模态特征向量映射到半径为零的超球粒空间，然后经过实验选择一种优势模态构建三角融合系统，最后进行特征匹配。

GCN与CV

计算机视觉方面，Marino 等[39]在做图像分类任务时，引入知识图谱，结合图卷积网络和知识图谱中获得先验知识，与其他的多标签分类方法比较正确率取得明显增长。2019 年，Wang 等[40]针对人脸聚类的问题，人脸特征作为顶点信息，通过图卷积网络获得顶点信息，然后决定顶点的连接关系，实现了较好的聚类效果。
实际应用中图数据规模往往非常庞大，谱域和空间域都需要巨大的运算量，难以实现；在图卷积网络模型中，无法进行深度模型搭建，大部分在两层之后就达到最优效果，层数越深反而导致顶点特征平滑，不利于网络分析等

图粗化（图粗化）

谱聚类适用于加权图结构
通过池化，实现多层卷积，产生更多的图特征
Graclus 多层聚类算法（Graclus multilevel clustering algorithm）的粗化阶段[46]
Graclus 多层聚类算法[48]是基于 METIS 聚类算法[49]的基础上改进

picture→graph

采用基于Steerable 滤波器的方向能量分布特征（Orientated Energy Distribution，OED）作为顶点特征描述图像块的纹理信息
图块作为图的顶点,顶点特征为图块的方向能量特征
对所有顶点构建k-NN图，并给边加权值

多模态融合

多模态融合的研究大多关注在四个层次，分别为像素、特征、匹配分数以及决策层融合
传统的决策层融合[52]的主要方法是基于权重、乘积以及求和等预设策略。

特征层融合方法

把图像统一映射到图域再进行三模态融合，可以改善为了解决模态特征维度差异而采取的归一化方法堆叠造成的计算复杂度负担

决策层融合方法[55][56]

实验

Momentum优化 有些类似于LSTM或者resnet，与前一刻的信息一起考虑
图结构要对原图像具有一定的描述能力，因此可以从顶点和边两个方面分别探究图结构的质量对识别结果的影响

探究图结构维度对识别的影响

顶点的数目直接决定了图结构的维度，而图结构规模的大小，影响最终识别的速率，所以从识别率和识别效率两个方面探究最合适的图结构维度
可以知道单图节点越多（维度越大），识别率越高（凸增长），识别效率越慢（凹增长）

探究图结构顶点连接方式的影响

三角剖分图[60]

展望

1. 仍需要对原始pic预处理增强，还不够端到端，应实现原图到graph的映射
2. 拉普拉斯矩阵易于过度平滑，应考虑在不增加复杂度的前提下，对卷积过程加入正则化等方法，提高网络的识别率（但是求拉普拉斯矩阵的过程本身就有矩阵的正则化啊？）
3. 还可以考虑在图卷积层进行融合，充分发挥图卷积对图结构的特征学习能力，进行更有效的融合