【论文阅读】《Skip-Connected Covariance Network for Remote Sensing Scene Classification》跳跃连接协方差池化的遥感图像场景识别

摘要

本文提出了一种用于遥感场景分类的新型端到端学习模型——跳跃链接协方差(SCCov)网络。本工作的创新之处在于将两个新的模块嵌入到传统的卷积神经网络(CNN)模型中，即，跳跃连接和协方差池化。SCCov具有双重优势。首先，通过跳跃接将CNN生成的多分辨率地物图结合起来，这对于解决遥感场景分类数据集中存在的大规模变化问题具有重要的好处。其次，利用协方差池化，可以充分利用多分辨率特征图中包含的二阶信息。这使得CNN在处理遥感场景分类问题时能够实现更具代表性的特征学习。利用三个大型基准数据集进行的实验结果表明，与目前最先进的遥感场景分类技术相比，提出的SCCov网络使用更少的参数，显示出更好的分类性能。

引言

遥感场景分类(RSSC)在城市制图、土地利用分类等诸多实际应用中得到了广泛的关注。对于给定的查询图像，RSSC的目标是根据图像的内容为其分配一个惟一的标签(例如，机场、森林等)。由于传感器与地面距离的关系，RSSC经常遇到大规模变化(LSV)的问题。这是因为在同一个场景类别中，图像可以呈现出非常不同的尺度(如图1所示)，这使得RSSC成为一个非常具有挑战性的问题。

创新点

本文结合CNN结构的特点，对RSSC中的LSV问题进行了具体的研究。具体来说，我们将一个跳转连接模块嵌入到现成的CNN模型中，例如Alexnet和VGG16，将多分辨率的特征图连接起来用于分类。此外，采用协方差池策略对不同层次的多分辨率特征图进行聚合。与只使用一阶统计量即特征图，而协方差池提供了使用二阶统计信息来汇集特征映射。因此，可以学习到更多具有代表性的特性。为了证明我们的方法是有效的，在第四部分进行了综合实验来证明上述方面。在此基础上，提出了一种新的端到端学习模型——跳跃连协方差网络。此外，我们还可视化了SCCov网络获得的显著性图，以研究其在RSSC应用中的性能。本文的主要创新贡献可以总结如下:
•我们提出了一个新的端到端学习模型，将两个新模块嵌入到CNN模型中，用于RSSC。与目前最先进的分类方法相比，该方法使用的训练参数少得多，显示出优越的分类性能。
•我们通过可视化测试图像的显著性映射，研究了我们新提出的SCCov网络在RSSC问题中的表现，这让我们对SCCov网络模型的工作机理有了重要的了解。

提出的方法

本文提出的方法与作者之前提出的Remote Sensing Scene Classification Using Multilayer Stacked Covariance Pooling（MSCP）https://mp.csdn.net/postedit/88990122极为类似，整体框架也大体相同，首先是将图片输入，在使用预训练的Alexnet或者VGG的其中三层进行特征提取后进行下采样处理，将三层输出的featuremap缩放至相同大小，然后利用通道融合算法将他们平均为相同的通道大小（如下所示），然后拼接到一起。

在进行拼接之后分别计算不同featuremap之间的协方差，然后构造协方差矩阵，最后利用softmax分类器输出分类结果。

与MSCP的对比

两篇文章的区别如下：
1） MSCP 是用预训练网络做特征提取，SVM做分类器。而SCCovnet是一个end to end的网络
2）MSCP没有遥感数据上微调，所以分类精度相对较低。而SCCovnet是在遥感数据上微调。精度更高
3）SCCovnet 是MSCP 改进版，是一个end to end 的网络