attention注意力机制

attention注意力机制的定义和本质

顾名思义:注意力机制的意思就是将注意力集中在重要的点上,忽略那些不重要的因素。
注意力机制的本质其实就是对特征分配注意力权重的过程。
现在的重点就是注意力权重的获取过程。

Encoder-Decoder模型定义

以机器翻译为例,来讲解attention机制。
机器翻译领域应用最广泛的Encoder-Decoder模型,即编码解码模型,其中Encoder编码器,是将输入数据(图像或文本)编码为固定长度的特征向量。而Decoder解码器,是以编码得到的特征作为输入,解码为目标输出。

在编码解码结构中加入attention机制-----就是对编码得到的特征分配注意力权重后作为解码器的输入。

Soft Attention Model

Soft Attention Model------软注意力模型,是会对所有的特征都分配一个注意力权重,没有筛选条件。所以说软注意力模型的注意力是发散的,也就是说,attention模型会给序列中的每一个数据分配一个注意力权重。

Hard Attention Model

Hard Attention Model------硬注意力模型,注意力是集中在某一个小的区域内,只对其中的某一个特征分配权重为1,其余为0。

spatial attention是以feature map的每个像素点为单位,对feature map的每个像素点都配一个权重值,因此这个权重值应该是一个矩阵,大小是图片的大小;channel wise attention则是以feature map为单位,对每个channel都配一个权重值,因此这个权重值应该是一个向量。

你可能感兴趣的:(attention注意力机制)