深度学习（18）—— Dual Attention NetWork

深度学习（18）—— Dual Attention NetWork

一、简介

最近放假，在家里虽然也有实验室的任务，但是时间相对自己安排的更灵活一点，也在看之前的一些文献学一点自己之前没有涉及的域。随笔记录、
今天这篇文献主要讲述一个在语义分割中的方法：Dual Attention NetWork（看到attention大家y8inggai脑子里面先想到的是各种attention，但是每个attention都离不了里面的三个矩阵q,k,v）

二、适用场景

众所周知，现在做分类还是分割的最大的问题是相似的物体，亦或是一些混淆的类别很难区分开，为了有效的完成场景的分割，就需要将这些类别区分开。
现在存在的解决这类问题的方法：

• 多尺度上下文信息融合（PSPNet etc.）
• 增加内核大小，获取更丰富的全局上下文信息
• 使用encoder-decoder结构

以上这些方法可以捕获不同尺度的目标，但是没有利用目标之间的关系

---

• 使用递归神经网络捕捉长期依赖关系（这在很大程度上需要依赖长期记忆的学习结果）

三、核心思想

1. 概述

文章主要使自注意力机制来捕获上下文依赖，提出DANet来自适应地整合局部特征和全局依赖。这个方法可以自适应地聚合长期上下文信息，提高场景分割的特征表示

2. 创新点

• 在一贯的dilated FCN中增加attention 模块。包括position attention module 和 channel attention module。
• 其中position attention module选择性的通过所有位置的加权求和聚集每个位置的特征
• channel attention module通过所有channel的feature map 中的特征选择性的强调某个特征图
• 最后将两种attention进行求和得到最后的特征表达

3. position attention module

捕获特征图的任意两个位置之间的空间依赖，对于某个特定的特征，被所有位置上的特征加权和更新。权重为相应的两个位置之间的特征相似性。因此，任何两个现有相似特征的位置可以相互贡献提升，而不管它们之间的距离。

4. channel attention module

每个高层次特征的通道映射都可以看作是一个特定于类的响应，不同的语义响应相互关联。通过探索通道映射之间的相互依赖关系，可以强调相互依赖的特征映射，提高特定语义的特征表示。

四、头脑风暴

使用两个attention module分别对spatial和channel进行操作，考虑到图片上下文内容之间的相似性，更好的考虑局部特征