遥感时空融合——变化检测方法及文献阅读

变化检测方法——要点在于对多时相影像数据时间相关性建模
递归神经网络RNN：可用于处理时间连续的数据，解决多光谱/高光谱图像变化检测问题

方法	主要内容
直接比较法	图像差值 D=I1-I2+c(阈值原理：百分位阈值法、otsu阈值法、kapur阈值) 图像比值 D=I1/I2——正则化：D=arctan(I1/I2)-Π/4 图像回归 I2=ω0*I1+ω1
基于图像分割	图像建模法通常需要考虑遥感图像本身的概率分布，并且当概率变化类和非变化类的概率分布重叠严重时，利用后验最大化也很难将变化与非变化的类别分开，因此图像建模法常常会受制于具体的应用。基于图像分割的遥感图像变化检测则是将变化检测问题转化为对差异图像的分割，而不去考虑具体遥感图像的概率分布。因此，chan-vese模型作为经典的分割模型，就被引入到变化检测中。
Change vector analysis	CVA可结合无监督阈值选择与数据分类，如莱斯-瑞利混合模型合于EM算法相结合
Transformation-based	将多元数据正交投影到主成分子空间—特征抽取、数据降维、数据压缩。PCA可用于不同影像，也可用于堆叠影像，G-S减少冗余数据，MAD将差异放大，SFA将时间不变分量提取到特征空间，并分离变化区域，DBN利用网络学习堆叠数据学习变化信息。
Classification-based	贝叶斯决策理论： C1是变化的类，C2是非变化类；并利用后验最大化计算得到像素点属于C1、C2的概率：

各种大气散射条件、复杂的光散射机制和内部可变性导致的变化检测本质上是非线性的。因此，基于学习的方法以及深层神经网络最可以应用到变化检测方面。从端到端的方式直接学习和检测双中心图像序列中提取联合频谱-时间特征。
RNN+LSTM：
1. 从二值图像序列中学习一种联合谱-时特征表示，用于检测地物分级的变化[Lyu H, Hui L. Learning a transferable change detection method by Recurrent Neural Network[C]// Geoscience & Remote Sensing Symposium. 2016.]
2. 解决多时相图像序列的土地覆盖分类问题[Rubwurm M, Korner M. Temporal Vegetation Modelling Using Long Short-Term Memory Networks for Crop Identification from Medium-Resolution Multi-spectral Satellite Images[J]. 2017.]

Mou L , Bruzzone L , Zhu X X . Learning Spectral-Spatial-Temporal Features via a Recurrent Convolutional Neural Network for Change Detection in Multispectral Imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018:1-12.
参考博客
使用端到端网络进行变化检测的联合光谱时空特征，这种网络被称为递归卷积神经网络（RECNN：CNN用于产生特征+RNN用于特征分类）。
创新点：首次将CNN+RNN用于多时相数据变化检测分析，利用3D多光谱块将空-时-谱信息结合作为整体信息封装预测。

使用CNN而不使用常用于做分类的网络如AlexNet、VGGNet和GoogLeNet：
1. 将变化的类分为四类，而传统的分类网络常有上千个类；
2. 多光谱图像空间分辨率受限，不必使用深层的网络；
3. 较小的网络在变化检测问题方面非常有效，可用于大规模区域的测试；
4. 多光谱有多个光谱信道，传统方法不适合。

网络

• Convolutional Subnetwork：3×3滤波器，通过两层特征提取，最终输出为1×1；
• Recurrent Subnetwork：CNN是一种前馈网络，所有的输入是相对独立的。RNN常用于处理序列数据，反映数据在时间上的动态变化。

本文利用三种递归网络对比，即全连接RNN（FC）、LSTM和门控递归单元(GRU)，构造了ReCNN中的递归子网。
共同点：序列数据之间是加性循环；
不同：LSTM和GRU都在保持当前内容的同时添加添加新内容，但是LSTM使用三个门和一个单元，即输入门、遗忘门、输出门和存储单元，来筛选要替换掉内存内容；而GRU只使用两个门来控制内存内容的暴露。因此GRU参数较LSTM少25%。

区域

评价指标
1. Overall accuracy OA ：正确分类的像素数/总测试样本数。
2. KAPPA 系数 ：kappa计算结果为[-1，1]，但通常在[0，1]。可分为五组来表示不同级别的一致性：kappa：0.0_{0.20极低的一致性(slight)、0.21}0.40一般的一致性(fair)、0.41~0.60 中等的一致性(moderate)、0.61~0.80 高度的一致性(substantial)和0.81~1几乎完全一致(almost perfect)。

对比方法 ： 每种架构都使用128个递归单元，其中，CVA、PCA、MAD、IRMAD和RNN用于二值变化检测实验，DT、SVM和RNN在多类变化检测实验中与所提出的网络进行了比较。此外，在二值图像变化检测中，采用k均值算法自动选择无监督阈值。
1. CVA：无监督多光谱图像变化检测方法。
2. PCA：计算简单，可用于实时应用。
3. MAD：这基于图像变换的无监督二值多光谱图像变化检测算法。
4. 迭代重加权MAD(IRMAD)：通过引入迭代方案来MAD。
5. DT：用于分类和回归的非参数监督学习方法。其目标是创建一个预测T的模型通过学习从数据特征推断的简单决策规则来确定目标变量的值。
6. SVM：将数据映射到包含内核的高维特征来进行工作当数据点不是线性可分离时，寻求最佳决策超平面的空间可以最佳地分离数据样本。在此，我们使用具有径向基函数（RBF）核的SVM。使用5折交叉验证。
7. CNN：主要应用于高光谱图像模式识别。
8. RNN：主要应用于检测变化的分类。
9. ReCNN-FC：在ReCNN模型中使用完全连通的RNN作为递归子网络。
10. ReCNN-GRU：在递归子网中使用GRU架构。
11. ReCNN-LSTM：以LSTM为递归分量的ReCNN模型。