论文阅读：SCDNET: A novel convolutional network for semantic change detection in high resolution optical

变化检测

变化检测(Change Detection)主要是捕获同一地区在不同时间的地物变化信息。CD流程主要包括三个步骤：预处理、变化分析和差异图生成。根据输出变化图中需要的语义标签信息的类型，CD分为两类：二进制变化(BCD)和语义变化检测(SCD)。在BCD中，变化结果图通过一个二进制标签来区分变化和未变化的像素。而SCD还可以捕获到变化的类型。这里的变化类型是指双时相图像之间的土地覆盖过渡，如“土地到建筑”、“森林到农田”等。因此SCD可以更好的捕获到全面的变化信息。同时也是一个更加复杂的变化检测任务。

新的网络架构

SCD的局限性

（1）不同RS场景难以定义合适的patch大小;
（2）由于场景patch仅表示目标物体的矩形区域，无法勾画出物体的边界，这对于准确的变化信息后处理和统计分析是必不可少的，如变化物体矢量化、变化区域计算等。因此，使用像素级标签信息实现SCD是至关重要的。

提出的SCDNET架构

为了克服上述局限性，提出了一种新的语义CD网络(SCDNet)，在该网络中可以生成像素级的语义变化图。因此，通过带有“从到”类标签的双时态语义更改映射，可以很容易地表示更改转换状态。SCDNet基于编码器-解码器架构设计，由两个编码器和两个解码器组成，可以有效地结合双时间图像信息生成语义变化图。本文的贡献可以概括为两个方面:
（1）采用权重共享的暹罗Unet结构对双时相图像进行多层次的特征表示和融合
（2）为了捕捉多尺度变化，编码器中采用了多尺度的空洞卷积模块，为了提高特征融合和避免梯度消失，在解码阶段进一步引入了注意力机制和深度监督策略，为了解决类不均衡问题，提出了一种新的基于dice损失和focal损失的目标函数。

网络结构

为了加强网络收敛速度， 采用预训练的Resnet34作为主干网络，生成各比例的差异特征图，进行变化分析。在编码器的末端，插入MAC模块来扩大感受野。然后通过上采样和卷积操作对收缩后的特征图进行扩展，恢复出全分辨率的特征图。为了嵌入图像每一时期的变化信息，将图像特征图和不同层次的差异特征图结合在一起，形成跳跃连接。此外，为了有效融合编码器和解码器之间的特征映射，利用注意力模块对特征进行校准。在解码器的末端加入dropout层以提高网络泛化能力。最后利用softmax生成语义变化图，为了克服梯度消失，提高收敛性，进一步采用了深度监督策略来促进网络训练。

多尺度空洞卷积模块

注意力机制

LOSS函数

对于SCDnet，由于使用了深度监督策略，每段图像生成了四个输出分割映射，因此单时间损失函数可以定义为四个侧输出损耗的组合。

其中，$y_i^t$表示双线性下采样产生的$y_i^p$。假设$y_4^t$是全分辨率的最终输出，$B{D}_s$是尺度为s下采样操作，$y_1^t=B{D}_{16}(y_4^t)$, $y_2^t=B{D}_8(y_4^t)$, $y_3^t=B{D}_4(y_4^t)$。侧输出损失函数由两部分组成：全局交叉熵损失$L_{ce}$和类别组合损失$L_{df}$。

其中$w_{ce}$是权衡参数，利用交叉熵损失对预测输出$y^p$和目标输出$y^t$的不一致性进行全局惩罚：

为了平衡dice loss，加入权重系数

其中c为类别数，$w_j$表示每个类别标签j的权重，$w_{dice}$和$w_{fl}$分别表示dice loss和focal loss的系数权重，各个公式如下:

其中γ用于调整简单样本的影响，通常设置为2。其中$y_t$和$y_p$表示目标和预测的二进制映射。此外，设$r(j)(1<=j<=C)$表示每个改变类别的类别占比。可定义$w_i$为：

最后损失函数$L_{total}$可以通过对图像各个周期之前的损失求和来定义：
其中$L_{t1}$和$L_{t2}$分别表示图像t1和t2的损失函数。

实验

结论

本文提出了一种新颖的语义变化检测体系结构SCDNet，旨在以端到端方式解决大规模遥感数据集的SCD任务。为了生成每段输入图像的语义变化映射，SCDNet由两个共享权重的并行编码器和解码器组成。前者用于提取多尺度的深度特征图，后者将深度特征图与差异特征图相结合，用于解码变化信息。为了利用多尺度信息，在编码器的末端引入了MAC单元。采用注意机制有效地融合了编码器和解码器之间的特征映射。为了避免梯度消失，提高网络性能，采用深度监督策略生成中间层的多尺度语义变化图。在softmax层之前进一步加Dropblock模块，旨在提高网络泛化能力。在两个VHRsCD数据集上验证了该方法的有效性。实验结果表明，SCDNet在视觉比较和定量精度指标上稳定优于其他SOTA方法。