“数据融合”总结2

---

Feature fusion with covariance matrix regularization in face recognition

Ze Lu (Signal Processing)

特征融合方法一般有两步：A、对每一个特征集合进行降维；B、拼接所有的特征集合。当以AB的顺序进行特征融合时，称作DR-Cat；当以BA的顺序进行特征融合时称作Cat-DR。但是，DR-Cat忽略了不同特征之间的相关信息，另一方面，在Cat-DR中，从训练数据中估计出的相关信息可能不可靠，特别是在训练样本数量有限的情况下。
本文提出了一种协方差矩阵正则化（Convariance matrix regularization，CMR）方法解决DR-Cat和Cat-DR出现的问题。它通过在训练数据的协方差矩阵中为交叉特征协方差分配权重。因此，从训练数据中估计出的特征相关性在被用于训练特征融合模型之前是正则化的。
论文融合了四种特征：三通道的像素值特征、三通道的LBP特征、单通道的像素值和LBP特征和CNN特征。
作者首先提出了一个基于残差的网络结构，名字叫ResNetShort，将VGG-Face网络和ResNetShort网络提取的特征通过特征融方法有效的融合起来。下面是ResNetShort网络：

DR-Cat:

Cat-DR:

其中的U和U_m通过通过训练数据的协方差矩阵来生成。计算整体的协方差矩阵来得出特征融合的参数。

---

Feature Regrouping for CCA-Based Feature Fusion and Extraction Through Normalized Cut

Wu Zuobin （2018 21st International Conference on Information Fusion）

提出了一种基于CCA的特征重组算法，该算法通过归一化数据集提取和融合特征。特征相关性分析纳入归一化割集，使组内相关性最大化，同时最小化组外相关性。基于CCA的特征 融合是对重组特征进行的。
本文提出的特征重组方案通过多特征相关分析在多个特征间发现特征组，减少了估计中的方差，提高了融合特征的预测能力。

---

Fusion of Directional Spatial Discriminant Features for Face Recognition

Aniruddha Dey （International Conference on Computational Intelligence: Modeling, Techniques and Applications）

本文采用融合方向空间判别特征的方法进行人脸识别。该方法的核心思想是将面部特征沿水平方向、垂直方向和对角线方向进行融合。但是这样融合得到的特征维度很高，所以再次从大的融合特征向量中提取特征。
我们采用G-2DFLD提取特征，将图像进行对角线变换后再用G-2DFLD提取特征，将二者融合后，然后用PCA方法对该大融合特征向量的维数进行降维，并利用此降维特征向量进行径向基函数神经网络的分类和识别。

---

Hyperspectral Image Classification With Deep Feature Fusion Network

Weiwei Song (IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING)

虽然深度网络取得了一些效果，但是不断增加网络深度也会带来一些负面的影响，此外，原先的HSI分类网络也没有考虑到不同层之间的互补但相关的信息。我们提出了一种深度特征融合网络（deep feature fusion network,DFFN）。

1. 使用残差学习方式，训练更深的网络以提取更多地特征

2. 融合了不同层次的输出

   
   
   
   
   

   以像素点为中心提取一个patch，对patch进行特征提取，用来代表一个像素点的特征。

---

Multi-feature Fusion using Multi-GMM Supervector for SVM Speaker Verification

Minghui Liu

使用混合高斯模型去做

---

Multimodal Biometric Person Recognition by Feature Fusion

Lin huang (2018 5th International Conference on Information Science and Control Engineering)

这篇文章提出了一种基于模拟退火算法（Simulated Annealing，SA）的特征融合方法。
针对不同的特征集合使用权重将其融合为一个特征向量，如下：

=

其中， N表示不同特征集中的特征数， p表示不同特征集中的第一个特征， alpha表示对应的权重，F是最终的融合特征集。
采用 加权最小二乘法（WeightedLeastSquares，WLS）更新特征向量。将误差向量定义为 g(F)，则目标函数 J可表示为：

采用模拟退火进行优化，确定权重矩阵。

---