图像处理中的注意力机制

参考链接:论文笔记:空间变换网络(Spatial Transformer Networks) - PilgrimHui - 博客园

        ​​​​​​​        ​​​​​​​    图像处理中的Attention mechanism学习总结_kiki啊的博客-CSDN博客

                    深度学习中的注意力模型(2017版) - 知乎

注意力机制即在众多的信息中对重点信息进行重点关注的方式,采用encoder和decoder模型方式,示意 

图像处理中的注意力机制_第1张图片

Attention机制的具体计算过程,如果对目前大多数方法进行抽象的话,可以将其归纳为两个过程:第一个过程是根据Query和Key计算权重系数,第二个过程根据权重系数对Value进行加权求和。而第一个过程又可以细分为两个阶段:第一个阶段根据Query和Key计算两者的相似性或者相关性;第二个阶段对第一阶段的原始分值进行归一化处理;

图像处理中的注意力机制_第2张图片

你可能感兴趣的:(图像处理,人工智能)