【论文笔记】DSIFN：用于高分辨率双时相遥感图像变化检测的深度监督图像融合网络

本文是论文《A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images》的阅读笔记。

文章提出了一个深度监督图像融合网络DSIFN，首先使用量分支的全卷积网络进行特征提取，然后再用深度监督的差异判别网络DNN进行变化检测。为了提升变化图边界的完整性和内部的致密性，使用多层次的深度特征与图像差图特征通过注意力机制进行融合。

一、方法和网络结构

现有的深度学习方法有以下限制：1. 变化图边界的完整性和内部的致密性不好；2. 在双分支网络结构中，容易出现梯度消失；3. 怎么样在不同域中进行有效的特征融合是个问题。

上图是IFN网络的结构示意图。

上图是DNN的示意图。

深度图像融合网络IFN包括深度特征提取网络DFEN，差异判别网络DDN。DFEN的backbone是VGG-16，文章第一次尝试使用预训练网络进行端到端的变化检测任务。使用的注意力机制包括空间注意力和通道注意力，和CBAM注意力机制类似，大家可以去我博客搜一下，这里不再赘述。数据增强包括：1.图像旋转、2. 图像翻转、3. 增加噪声、4. 图像模糊、5. 图像平滑。

二值交叉熵损失公式如下：
$$L_{bce}=-t_i\log \left(y_i\right)-\left(1-t_i\right)\log \left(1-y_i\right)$$
其中，$t_i$表示在像素$i$处的GT值，$t_i=1$表示发生了变化，$t_i=0$表示未发生变化；$y_i$表示像素$i$处变化的概率；$1-y_i$表示未变化的概率。文章中使用的sigmoid二值交叉熵损失，其公式如下：
$$L_{si{g}_{-}bce}=-t_i\log \left(\sigma \left(y_i\right)\right)-\left(1-t_i\right)\log \left(\sigma \left(1-y_i\right)\right)$$
其中$\sigma$表示sigmoid激活函数，为了弱化不平衡类的影响，文章结合了sigmoid二值交叉熵损失和dice系数损失，dice系数损失的定义如下：
$$L_{\text{dice }}=1-\left(2y_i{t}_i\right)/\left(y_i+t_i\right))$$
总损失函数如下：
KaTeX parse error: Expected '}', got '_' at position 17: …L=L_{\text {sig_̲bce }}+L_{\text…

二、实验

实验选用的baseline模型有：Unet++_MSOF、FC-Sima-conc、FC-Sima-diff、FCN-PP（Fully convolutional network with pyramid pooling）。

上图是多种变化检测方法的对比。

上图是大变化区域的检测结果，a~h分别是T1图像、T2图像、GT图像、IFN结果、Unet++_MSOF结果、FCN-PP结果、FC-Siam-conc结果、FC-Siam-diff结果。

上图是小变化区域的检测结果，a~h分别是T1图像、T2图像、GT图像、IFN结果、Unet++_MSOF结果、FCN-PP结果、FC-Siam-conc结果、FC-Siam-diff结果。