深度卷积网络--特征融合

一、特征融合介绍

特征融合的目的是把从图像中提取到的特征，合并成一个比输入图片特征更具有判别能力的特征。

在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键。
很多工作通过融合多层来提升检测和分割的性能，按照融合与预测的先后顺序，分类为早融合(Early fusion)和晚融合(Late fusion)。

关于深度特征融合—高低层特征融合，归纳起来共讨论了4类方法：

（1）早融合：

用经典的特征融合方法：在现有的网络（如VGG19）中，用concat或add融合 其中的某几层；
FCN、Hypercolumns—>add
Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
变种：用DCA特征融合方法代替concat和add操作；

（2）晚融合：

（2.1）采用类似特征金字塔网络（FPN）的思想，对特征融合后进行预测。 （FPN一般用于目标检测，提高小目标检测能力） 三个变种：
1.YOLO2的方法，只在金字塔的top-down路径的最后一层进行预测，此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
2.YOLO3的方法，在金字塔的每一层都进行预测
3.FSSD的方法，对 FPN进行细微改造

（2.2）feature不融合，多尺度的feture分别进行预测，然后对预测结果进行综合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)

（3）用一个具有高低特征融合能力的网络替代普通的网络，如Densenet；

（4）不进行高低层特征融合，而是在高层特征预测的基础上，再用底层特征进行预测结果的调整

两个经典的特征融合方法：

（1）concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
（2）add：并行策略，将这两个特征向量组合成复向量，对于输入特征x和y，z = x + iy，其中i是虚数单位。