计算机视觉中的注意力机制

          之前在看DETR这篇论文中的self_attention，然后结合之前实验室组会经常提起的注意力机制，所以本周时间对注意力机制进行了相关的梳理，以及相关的源码阅读了解其实现的机制

01  注意力机制（attention mechanism）

02  自注意力（self-attention）

03  软注意力（soft-attention）

         1、空间域注意力（spatial transformer network）

         2、通道注意力（Channel Attention，CA）

        3、混合域模型(融合空间域和通道域注意力)

       4、Non-Local

     5、位置注意力（position-wise attention

 

04   强注意力（hard attention）

转 ：https://zhuanlan.zhihu.com/p/146130215