【论文笔记】Recent Advances on Spectral-Spatial HSIC：An Overview and New Guidance

L. He, J. Li, C. Liu and S. Li, “Recent Advances on Spectral–Spatial Hyperspectral Image Classification: An Overview and New Guidelines,” in IEEE Transactions on Geoscience and Remote Sensing, vol. 56, no. 3, pp. 1579-1597, March 2018, doi: 10.1109/TGRS.2017.2765364.
He L , Li J , Liu C , et al. Recent Advances on Spectral-Spatial Hyperspectral Image Classification: An Overview and New Guidelines[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, PP(99):1-19.

1.贡献点

  第一，提出“Spatial Dependancy Systems”的概念，即像元/标签实体和具有覆盖范围和权重两大特性的邻域的聚合体，并将“Spatial Dependancy Systems”分为fixed、adaptive、global systems（根据定义邻域的方式）或single-dependancy、bilayer-dependancy、multiple-dependancy systems（根据空间依赖的个数）;



  第二，将现有的光谱-空间分类方法根据空谱融合时期归为四类：preprocessing-based、integrated、postprocessing-based、hybrid classifications；


  第三，从“structural filtering”、“morphological profile（MP）”、“random field”、“sparse representation-based classification（SRC）”、“segmentation-based approaches”、“deep learning”六个方面介绍了典型的空谱分类方法；
  第四，在IP、PU、EO-1 Botswana、SV四个数据集上进行了实验。

2.论文细节

2.1 CONTEXT AND BACKGROUND

  高光谱影像具有成百上千个连续的窄波段，能够提供丰富的信息。高光谱影像分类指赋予每个像元一个特定的类别标签，是高光谱影像处理的主要任务。
  仅使用光谱信息进行分类概念简单且容易实现，但存在两个问题：①有限训练样本VS高维光谱波段；②光谱变异性。问题①会导致Huges现象，此外有限样本会导致样本协方差矩阵的奇异性，使得一些分类方法变成不适定问题，高维波段增加了模型参数，导致过拟合问题，降低模型的泛化能力。由于入射光、大气效应、阴影、自然的光谱变化、仪器噪声等因素，类内光谱变异性变大，使得识别特定类别更为困难，类间光谱变异性变小，使得区分不同类别更为困难。因此有许多空谱融合的分类方法被提出。

2.2 SPATIAL DEPENDANCY SYSTEMS

  空间依赖系统包括pixel dependancy和label dependancy，空谱分类方法指至少包括上述一种依赖的方法。
  根据不同邻域，可将依赖系统分为固定的、自适应的、全局的依赖系统。固定依赖系统指covering和importance都固定，包括固定像元依赖系统和固定标签依赖系统；自适应依赖系统指covering和importance中至少有一个自适应，包括自适应像元依赖系统和自适应标签依赖系统，大多数方法是让像元邻域的importance自适应；全局依赖系统的covering为整幅图像，同样包括全局像元依赖系统和全局标签依赖系统。
  根据使用的空间依赖个数，可将依赖系统分为单依赖系统、双层依赖系统和多依赖系统，现有方法大多属于单依赖系统。双依赖系统既使用了像元级依赖，又使用了标签级依赖；多依赖系统在一种层级（像元级或标签级）上使用多种空间依赖，比如在像元级上既使用了空间平均操作，又使用了边缘检测操作。

2.3 PARADIGMS OF SPECTRAL-SPATIAL CLASSIFICATION

  2.2节介绍了提取空间信息的几种方式，2.3节介绍融合光谱-空间信息进行分类的几种方式，包括分类前融合、分类时融合、分类后融合和混合方法，其中分类时融合的方法具体有改变SVM目标函数的方法，端到端的CNN方法等，混合方法指组合了分类前融合/分类后融合等的方法。
  分类前融合使得仅包括光谱特征的原始特征空间变换到一个新的包括空间-光谱特征的新特征空间，假设两个特征空间维度一致，从统计和概率的角度上来说，新特征空间中参数模型的似然函数更尖锐（sharper），这一方面使得类条件概率分布的平均曲率增加，可以更准确地估计模型参数，另一方面使得不同类别的条件概率分布重叠部分变少；分类时融合通过引入空间依赖直接改变了原始特征空间的目标函数，更严格的目标函数使得参数估计更准确；在Bayesian框架下，分类后估计中的后正则化项可视为包含了图像空间依赖的先验信息，使得像元级的后验分布更尖锐；混合方法中各种空间信息互补完成分类任务。

2.4 TYPICAL METHODOLOGIES

  2.4节是6种空间特征提取方法的分类综述。
  ①Structural Filtering：分类前融合中最常用的空间特征提取方法，给定一个固定或自适应的结构元素，经过滤波操作得到一系列空间特征。

  ②Morphological Profile：是Structural Filtering的特例，由AP发展至EMAP（这个不确定呀），EMAP的滤波操作如下：首先计算每一个连通成分C_i的属性值A,判断其是否满足阈值条件λ，若A(C_i)＞λ，则不改变这个连通成分，否则将其灰度值设为邻域的灰度值，也就是将C_i与周围的连通成分合并了。C_i合并后的灰度值减小，则称为thinning操作，灰度值变大称为thickening操作。

  EMAP中这一系列的thinning和thickening操作跟Gabor滤波中不同方向、不同尺度的滤波操作有些相似吧。通常将HSI经过降维处理后再利用EMAP提取空间特征。
  ③Random Field：与判别方法类似，直接建立了p(y/x)的后验分布，而不是联合概率分布p(y,x)（这个我还不懂呀）。


  MRF中的类别参数与随机场参数被分开估计，大大简化了计算复杂度；CRF定义了一个条件概率分布而不是联合分布，与MRF相比有两个优点：条件概率的本质使得CRF放松了条件独立假设，基于有向图模型的MRF存在类别偏置问题，而CRF解决了这一问题；DRF有三个优点：放松了条件独立假设，利用条件判别模型而不是生成式的MRF，根据训练数据一同估计所有的DRF参数。
  ④Sparse Representation-Based Classification：通过过完备训练字典里原子的线性组合表示所有测试样本。

  上图推导了一般稀疏表示分类方法的目标函数，为了融入空间特征，可以采取下图提到的三种方式。

  ⑤Segmentation-Based Approaches：通常用于分类后融合方法中。
  ⑥Deep Learning：端到端的深度神经网络。

3.实验

  使用superior MLR和probabilistic SVM两种分类器，使用EMAPs和Gabor filtering在分类前提取空间特征，在Gabor滤波后使用PCA，主成分个数由交叉验证确定。使用MRF在分类后融合特征，使用LBP在分类时融合特征（In comparison, we chose the labeldependent LBP method as our tested integrated strategy.）所以共包括7种对比算法：RAW、EMAP、Gabor、LBP、RAW-MRF、EMAP-MRF、Gabor-MRF。MRF用M代替，MLR用L代替，SVM用S代替。每种实验均进行10次。

  对于IP数据集，EMAP-S和EMAP-S-M一开始表现得很差，因为SVM不适合处理只有少量训练样本的高维数据，随着样本增加，精度大幅度增加。在IP数据场景中，MLR比SVM的精度更高，且方差更小，当加入MRF后处理后，MLR的优势更为明显，但加入MRD使得方差都增大了。此外，MRF对EMAP的作用比对Gabor的作用大。Gabor比EMAP更稳定。
  对于PU数据集，Gabor获得了更高的精度和更小的方差，MRF对EMAP的作用还是比对Gabor的作用大，因为Gabor对于PU这种高空间分辨率的数据，已经可以提取到很显著的空间特征了。
  对于EO-1 Botswana数据集，由于缺乏测试样本，文中仅给出了分类图结果，Gabor强于EMAP，MRF对EMAP的作用比对Gabor的作用大。
  对于Salinas数据集，文中仅给出了分类图结果。

4.展望

①Application-Specific：针对特定应用制定包含特定空间先验信息的分类方法。
②Superpixel Based Spectral–Spatial Classification
③Deep Learning Based Spectral–Spatial Classification

5.单词（我认识你，永远记得你）

今日推荐（2020-5-22 19:52:06）：
《使女的故事》Margaret Atwood的创意写作大师课。
I never start with an idea，nobody knows where ideas come from.But let us say,if you immerse yourself in something,whether it be music,painting,or writing,or thinking about science,you are going to get ideas about it.
But you have to do the immersing first,you are not just sitting there waiting for lightning to strike.You are working in a metier,the more you work in there,the more ideas you will get about it.
That’s just for human creativity works of whatever kind.