图像注意力：Soft & Hard attention

参考博客：
[1] http://nathanlvzs.github.io/Blog-Translation-Attention-Mechanism.html

图像注意力机制

什么是注意力（attention）

受哺乳动物视觉神经系统的启发，神经注意力机制赋予神经网络可以专注于 输入（或特征） 子集的能力，即 选择输入的特定部分

图片来源

软注意力（soft attention）

简单理解：对图像的每个像素分配注意力权重$(0～1)$
软注意力是一个完全可微的确定性机制（fully differentiable deterministic mechanism），能够被即插即用在现有的系统上，梯度能够在通过注意力机制传播的同时向网络其他部分传播。（优势）

硬注意力（hard attention）

简单理解：选择图像的某个区域作为注意力区域，该部分注意力权重为$1$，其他区域的注意力权重为$0$。
硬注意力机制是一个随意过程（如：图像裁剪）