论文阅读计划《MCTNET: A MULTI-SCALE CNN-TRANSFORMER NETWORK FOR CHANGE DETECTIONIN OPTICAL REMOTE SENSING》

MCTNET: 用于光学遥感图像变化检测的多尺度 CNN-Transformer网络

1）文章背景

2022年10月发表于CVPR

清华大学电子工程系, 北京 100084

文章地址：https://arxiv.org/abs/2210.07601

代码地址：暂无

2）简介

作者提出了一种基于多尺度 CNN 变换器结构的混合网络，称为 MCTNet，其中利用多尺度全局和局部信息来增强 CD 性能在不同大小的变化区域上的鲁棒性。

文章重点：CNN-Transformer，多尺度

BIT缺点：BIT仅采用深度 CNN 和 Transformer 的简单单尺度集成，其中 Transformer 是在深度 CNN 之后执行的，其提取的全局特征不包含在前面的深度 CNN 结构之后遗漏的小目标。因此，BIT 可能对小的变化区域的 CD 任务不稳健。

ConvTrans模块：该模块旨在从全局-局部角度捕获更全面的图像特征。基于该模块使得该模型可以增加对小变化区域检测的稳健性。

3）模型详解

1.总体架构

MCTNet 是一个标准的编码器-解码器架构，包括两部分，即用于多尺度 “全局-局部” 特征提取的具​​有连体结构的编码器和解码器使用 U 形连接进行多尺度全局-局部特征融合。

Conv Block模块用 一次卷积一次最大池化 操作从遥感图像中提取低级特征（边缘和纹理信息）。经过这一轮操作后图片的长宽缩小为原来的1/2，通道数变为64。

ConvTrans模块获取多尺度全局-局部特征

Cascading Feature Decoder模块使用 U 形连接的解码器逐层融合来自孪生编码器的多尺度全局-局部特征，以逐步增强变化区域的显着性。

Classifier模块使用1x1的卷积层分类器生成变化图

（注：在训练过程中，使用加权交叉熵损失来优化 MCTNet 的参数）

2.ConvTrans模块（该模块的讲解以第二阶段编码为例）

 基于卷积的局部分支

 

该模块使用两个BasicBlock用于提取局部特征（3x3卷积 --> 归一化 --> 激活-->卷积-->归一化-->元素相加-->归一化）公式定于如下：

基于Transformer的全局分支

 

1.Token Embedding（标记嵌入）：目的是将图片向量化

将一阶段得到的（H/2，W/2，64）的图片进行卷积得到通道数为64的Token Map，然后将Token Map扁平化得到一个向量T2。

2.Transformer Encoder（编码）：目的是通过Transformer生成全局特征

得到T2后送入Transformer Encoder模块。（具体多头注意力机制怎么运作参考我主页的文章）公式定义如下：

经过自注意力机制以后产生一个新的增强过的向量T，将向量归一化以后通过MLP模块还原成图像特征（自注意力的位置编码文章没有展示出来）

特征融合分支

将局部以及全局特征提取出来以后，如何有效的融合这些特征是一个难点。文章使用自适应方式融合这些特征。其步骤分为：特征元素求和，注意力计算，特征选择。

1.特征元素求和

简单相加（如果所猜测不错）后进行平均池化

2.注意力计算

两个全连接层，FC1以及FC2，为全局和局部特征生成自注意力权重

3.特征选择

具体方法文中没有讲述，需要等代码公开以后更新

4）实验结果

数据集选择：LEVIR-CD，CDD

实验设施：单个NVIDIA RTX TITAN GPU.

实验结果比较：

 

 5）代码复现结果

暂无代码公布