场景分类综述——Remote Sensing Image Scene Classification Meets Deep Learning

一 场景分类面临的挑战

1. 场景分类的挑战包括：(1)类内多样性大，(2)类间相似性高(也称为类间可分性低)，(3)对象/场景尺度的差异大。
   就类内的多样性而言，挑战主要来自于在同一个语义类中出现的地物的巨大差异。地物通常在样式、形状、大小和分布上各不相同，这使得正确地分类场景图像很困难。
2. 类间相似性的挑战主要是由于存在相同的对象在不同的场景类或高语义场景类别之间的重叠。
3. 目标/场景尺度的巨大差异也是航空图像场景分类不可忽视的挑战。在卫星成像中，传感器在不同高度的轨道上工作，从几百公里到一万多公里，成像高度变化很大。即使是相同场景也在不同成像高度下具有巨大的尺度差异。此外，由于一些内在因素，每个对象/场景类别的大小也可能存在变化。

二 基于深度学习的遥感影像场景分类方法综述

1. 基于自动编码器的遥感图像场景分类
   Autoencoder是一种无监督的特征学习模型，它由浅的、对称的神经网络组成。自动编码器能够自动学习中级视觉表示从未标记的数据。在遥感领域的深度学习未兴起之前，中层特征在航空图像场景分类中起着重要作用。自编码器是一种非监督学习方法，在遥感图像场景分类中取得了较好的效果。然而，上述算法没有充分利用场景类别信息，无法获得区分不同场景类别的最佳特征。
2. 基于CNN的遥感影像场景分类
   优点：端到端，可以提取高级特征
   缺点：需要大量带注释的样本来微调已经训练好的CNNs或从零开始训练网络。
3. 基于GAN的遥感图像场景分类
   GANs具有强大的自监督特征学习能力

三 遥感影像场景分类基准数据集
UC-Merced data set
包含2100幅场景图像，像素分辨率为0.3米，图像像素尺寸为256*256
下载链接：http://weegee.vision.ucmerced.edu/datasets/form.html

AID Data Set
30个场景类别 多源 多分辨率 数据规模大
下载链接： www.lmars.whu.edu.cn/xia/AID-project.html

NWPU-RESISC45 Data Set
45个场景类别 多源 多分辨率 数据规模大
下载链接：http://www.escience.cn/people/gongcheng/NWPU-RESISC45.html

四 性能比较与讨论
A.性能比较
表III, IV, V说明, autoencoder-based方法的发展已经达到了一个瓶颈,CNNs-based方法仍占主导地位,有上涨潜力,GAN-based方法的精度相对较低，仍有进一步改善的空间。学习区分特征表示是提高场景分类性能的关键驱动力之一。

五 了未来遥感影像场景分类的几个可能的发展方向
（1）开发更大规模的场景分类数据集。
（2）场景分类的无监督学习
（3）紧凑高效的场景分类模型。
（4）学习判别特征表示。
（5）样本有限的场景分类
（6）跨域场景分类