【Show, Attend and Tell】--- 阅读笔记

转自对酒当鸽CSDN

---

这篇论文提出了Attention机制对于Encoder-Decoder进行改进。在Encoder-Decoder结构中，Encoder将输入序列编码为$h_n$。这样做的一个潜在问题是，如果原始序列中包含的许多信息，而$h_n$ 的长度又是一定的，那么$h_n$ 就存不下我们所需的所有信息。
利用Attention机制，Decoder可以在输入序列中选取需要的特征，提高了Encoder-Decoder模型的性能。

LSTM

首先，让我们先来回顾下LSTM的机制。LSTM的结构图如下图所示：

• 红色表示输入
• 蓝色表示输出
• 绿色表示记忆单元
• 虚线表示前一时刻的变量

每个组件的具体表达式如下：

意义	表达式
数据输入	$z=g([x_t,y_{t-1}])$
输入门	$i=\sigma [x_t,y_{t-1},c_{t-1}]$
遗忘门	$g=\sigma [x_t,y_{t-1},c_{t-1}]$
输出门	$o=\sigma [x_t,y_{t-1},c_{t-1}]$

该图中使用了两种非线性激活函数：
$\sigma (u)=\frac{1}{1+e^{-u}}$
$g(u)=h(u)=tanh(u)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$

方括号[ ]表示线性变化，具有一般形式：

每个函数具有不同参数W，R，p, b，通过训练获得。

LSTM的一种变体 attention LSTM

LSTM新增了一个和输入同尺度的注意力权重${\alpha }_t$，由输入和输出/隐状态计算得到：
${\alpha }_t=softmax(k(x_t,y_{t-1}))$，其中k是计算相关性的网络

用这个权重给原始输入加权

$x=\varphi ({\alpha }_t,x_t)$
使用加权的输入代替原来的$x_t$，那么LSTM的结构如下图所示：

让我们再回到论文的内容

结构

从输入到输出依旧经过decoder及encoder两个部分。

• 特征（annotation）: $a_1...a_i...a_L$, 每个$a_i$都是一个D维特征，共有L个，描述图像的不同区域
• 上下文（context）: $z_1...z_t...z_C$，每个$z_i$也是一个D维特征，共有C个，表示每个单词对应的上下文
• 输出（caption）: $y_1...y_t...y_C$。$y_t$组成一句“说明”（caption）。句子长度C不定。每个单词$y_t$是一个K维概率，K是词典的大小。

从输入图像 I 到 a

• 特征a直接使用现成的VGG网络中conv5_3层的14 * 14 * 512特征。所以，区域数量 L = 14 * 14 = 196，维度 D = 512

从 a 到 z

• 每个特征向量$a_i$对应的权重${\alpha }_i$是根据聚焦模型 $f_{att}$计算得到的。
  $e_{ti}=f_{att}(a_i,h_{t-1})$
  ${\alpha }_{ti}=\frac{exp(e_{ti})}{{\sum }_{k=1}^{L}exp(e_{tk})}$

• 计算得到权重之后，我们就可以计算$z=\varphi (\left\{a_i\right\},\left\{{\alpha }_i\right\})$

• $\varphi$ 函数有两种形式 hard 和 soft

• 权重${\alpha }_i$记录了对每个特征向量$a_i$的关注

从z到y

• z作为LSTM的输入，y作为LSTM的输出