Convolutional Neural Networks for Multimodal Remote Sensing Data Classification论文阅读笔记

近年来，为了提高单模态遥感数据的分类性能，人们进行了大量的研究。然而，随着从卫星或机载平台获取的遥感数据的可用性不断增加，多模式遥感数据的同时处理和分析对遥感界的研究人员提出了新的挑战。为此，我们提出了一种基于深度学习的多模式RS数据分类新框架，其中卷积神经网络（CNNs）作为骨干，具有先进的跨通道重建模块，称为CCR-Net。 顾名思义，CCR-Net通过跨模态的重建策略，可以更有效地相互交换信息，从而学习不同RS数据源的更紧凑的融合表示。 在两个多模式遥感数据集上进行的大量实验，包括高光谱（HS）和光探测与测距（LiDAR）数据，即Houston2013数据集，以及高光谱和合成孔径雷达（SAR）数据，如Berlin数据集，证明了与几种最先进的多模式遥感分类方法相比，所提出的CCR-Net的有效性和优越性。

代码：https://github.com/danfenghong/IEEE_TGRS_CCR-
Net

图1 展示在分类任务中使用多模态RS数据（例如，HS图像+激光雷达）而不是仅使用单一模态（例如HS图像或激光雷达）的潜力和优势。

整体的框架如下所示：

在融合的过程中实现通道之间的交互。


在本文中，我们通过引入CCR模块，提出了一种新的多模式RS图像分类网络，称为CCR-Net。CCR的使用使CNN提取器获得的不同模态的特征以更紧凑的方式融合，与传统的基于级联和对齐的融合方法相比，倾向于获得更好的分类性能。这进一步证明了所提出的CCR Net在分类任务中的有效性和优越性。尽管新提出的网络CCR融合模块为多模式土地覆盖分类任务提供了新的见解，但其实用性和应用能力仍有待进一步发展，特别是对于复杂的真实场景和更多的模态数据（例如，三种以上的模态）。