【论文笔记】FC-EF,FC-Siam-conc,FC-Siam-diff：用于变化检测的全卷积孪生神经网络

本文是论文《FULLY CONVOLUTIONAL SIAMESE NETWORKS FOR CHANGE DETECTION》的阅读笔记。

文章提出了三个全卷积神经网络结构用来解决变化检测问题，其中2个网络是基于孪生神经网络的。文章第一次在孪生神经网络的基础上加入了跳跃连接。

一、方法和网络结构

EF是Early Fusion的缩写，Siam即Siamese的缩写。EF结构在把两个输入图像喂入网络之前先将其concatenate起来，把它们当作一张图像的不同的通道。而Siam结构通过网络的两个分支对图像分别进行处理，两个分支网络具有相同的结构，并共享参数，在此之后将两个分支的输出使用卷积层进行合并。

提出的第一个结构是直接基于U-Net的，被称为FC-EF（Fully Convolutional Early Fusion）。另外两个网络是基于FC-EF的孪生神经网络结构，这两个网络之间的不同在于跳跃连接是怎么实现的。FC-Siam-conc（Fully Convolutional Siamese - Concatenation）网络将来自两个编码器分支和解码器相应层的三个特征图进行跳跃连接，而FC-Siam-diff（Fully Convolutional Siamese - Difference）首先求得两个解码器分支特征图差的绝对值，然后再与解码器相应层进行跳跃连接。三种网络的结构示意图如上所示。

二、实验

实验部分使用的数据集是the Onera Satellite Change Detection dataset (OSCD)和the Air Change Dataset (AC)两个数据集。AC数据集是RGB的航空图像，而OSCD数据集是多光谱卫星图像。并且对数据通过反转、旋转进行数据增强。评价指标选用准确率、召回率、F1值。

上图是不同方法在多个数据集上的实验结果对比。

上图是不同方法的结果图，看起来好像FC-EF更好一点。