阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》

论文贡献如下:

  1. 提出MetaChanger与变化检测中的特征交互的概念
  2. 提出两个特定特征交互层 aggregation-distribution和feature exchange

为什么在变化检测中需要特征交互?

它是同质/异质特征在融合之前的特征提取阶段的相关性或通信。

  1. 感知双时间图像的上下文信息
  2. 特征交换后,两分支特征更相似,相当于自动预适应。

阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第1张图片
ChangerMeta都包含什么特别的结构?
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第2张图片
(a)MetaChanger的交互层
(b)baseline,用做对比实验。中间换成了直接映射层。
(c)AD特征交互层:aggregation-distribution。先进行元素加,再全局平均池化,两层MLP(第一层压缩,第二层扩张通道)。将结果进行sigmoid操作与原特征操作,相当于赋予注意力权重。
在这里插入图片描述
(d)特征交换:feature exchange
包含通道交换和空间交换
主要步骤都是根据步距生成交换掩膜
根据掩膜进行保留和交换空间上的或通道上的特征。
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第3张图片
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第4张图片

阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第5张图片

(e)双流对齐融合
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第6张图片
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第7张图片

图3 ChangerEx模型。(a) ChangerEx第二阶段采用空间交换,后两阶段采用通道交换。
FDAF用于融合特征。(b)空间交换图。©通道交换示意图。
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第8张图片
阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》_第9张图片

总结:这篇从特征交互的角度出发,是与其他变化检测网络的不同也是亮点。
主要是Aggregation-distribution、特征交换、和双流对齐三个核心模块。

你可能感兴趣的:(变化检测,深度学习,计算机视觉,人工智能)