对比Attention的几种结构

前言

  Attention是一种思想,在当前输出上,是存在部分输入需要重点关注的,其对该输出贡献非常大。之前看到几篇关于attention思想的应用文章,现对比下其中的Attention具体结构上的区别。

NMT using Attention

  这篇文章是Bahdanau的2015年佳作,将Attention引入到NMT中并取得了非常好的效果,其中的attention结构不是非常容易理解。
  NMT面临的问题:通常的Encoder-Decoder翻译模式下,Encoder会将所有必要的信息压缩到一个定长向量中,而Decoder则依赖这个定长向量来做翻译。定长向量成了制约翻译效果的瓶颈,拓展模型自动寻找与待预测部分相关的source作辅助,会有更好的效果。该方法的主要思路是:每次翻译某个词之前,先找到source中最相关信息的位置,然后利用包含这些位置信息及之前预测词的context vector来预测下个词。其最大的特点:将输入序列编码到序列向量中,自适应地选择其子集供翻译时使用。

对比Attention的几种结构_第1张图片 对比Attention的几种结构_第2张图片

  让我们仔细地研究下Decoder其中的公式关系。
  当预测某个词时:

p(yi|y1,y2,...,yi1,X)=g(yi1,si,ci) p ( y i | y 1 , y 2 , . . . , y i − 1 , X ) = g ( y i − 1 , s i , c i )

依赖于三个变量,前刻预测词 yi1 y i − 1 ,当前的隐状态 si s i ,当前的上下文向量 ci c i
  而当前的隐状态:
si=f(si1,yi1,ci) s i = f ( s i − 1 , y i − 1 , c i )
,则依赖于前刻的隐状态 si1 s i − 1 ,前刻的预测词 yi1 y i − 1 ,当前的上下文向量 ci c i 不同于常见的RNN结构里面的隐状态,增加对上下文 ci c i 的依赖。
  上下文向量 ci c i 涵盖了当前待预测词 yi y i 需要关注的source信息总和, ci=Txj=1αijhj c i = ∑ j = 1 T x α i j h j 。到底需要关注哪些source信息呢?对输入序列的对应定义 解释变量 hj h j ,该变量描述了输入序列位置 j j 处及附近的信息。 αij α i j 则表示当前待预测词 yi y i 与source词 xj x j 附近信息的 相关性程度(对每个 xj x j 的关注度)
   疑问1:为什么不直接model xj x j yi y i 的关系呢?后文后有解释。
   疑问2:如何具体表示 αij α i j 呢?
   αij=exp(eij)Txk=1exp(eik) α i j = e x p ( e i j ) ∑ k = 1 T x e x p ( e i k ) ,根据所有输入词对 yi y i 的相关值 eij e i j 作normalize,得到归一化的概率权重,其中 eij=a(si1,hj) e i j = a ( s i − 1 , h j )
   疑问3:如何理解 eij e i j 能够描述source词 xj([hj] x j ( 隐 藏 着 [ h j ] )与 yi y i 相关性。
   eij e i j 表达的是输入 j j 附近与输出位置 i i 的相关性评估, eij e i j 反映了 hj h j 在考虑前刻隐状态 si1 s i − 1 在决定当前隐状态 si s i 和生成预测值 yi y i 时的某种重要性。
  还是那个问题, 为什么不直接model xj x j yi y i 的关系?一方面,会跳过解释变量 h h ,没法跟当前的RNN模型结合在一起;另一方面,在预测时,不能直接得到 yi y i 的变量来计算(因为还没预测到),必须要借助前刻的信息 si1 s i − 1 ,而 si1 s i − 1 也刚好包括前刻的必备信息。
   疑问4:关联函数 a a 怎么表达呢?
  这里用了个前向网络 eij=vTatanh[Wasi1+Uahj]) e i j = v a T t a n h [ W a s i − 1 + U a h j ] ) 来表达(concate的形式,后面会介绍有好几种alignment形式),与模型一块训练。
   疑问5:如何在翻译模式中体现 hj h j 呢?
  输入序列的解释变量 h h 如何实现的?与 s s 是什么结构关系?解码器: Bidirection GRU for hj=[hj;hj] h j = [ h j → ; h j ← ] ,可以得知 h h 是BRNN的隐状态,那么 s s 又是什么呢?Encode时和Decode时的隐状态名称不同,前者称为 h h ,后者称为 s s ,这下明白了吧。
  来个Google的带有Attention的NMT动图,看下Encoder和Decoder在注意力机制下是如何交互的。

Global/Local Attention-based NMT

  Luong2015年的非常经典的文章,探索了Attention在NMT中的应用性,基于如何得到上下文向量 c c ,定义了两种attention的结构形式,分别命名为global和local Attention。
  其中Global考虑Encoder的所有隐状态来生成上下向量 c c ,而Local Attention则是仅考虑局部隐状态来生成上下文向量 c c ,两种结构如下图描述:

对比Attention的几种结构_第3张图片 对比Attention的几种结构_第4张图片 对比Attention的几种结构_第5张图片

  定义了几种target的隐状态 ht h t 与source的解释变量(隐状态) h¯s h ¯ s 之间的相关性评估函数,如下:
score(ht,h¯s)=hTth¯shTtWah¯svTatanh(Wa[ht;h¯s])dotgeneralconcat s c o r e ( h t , h ¯ s ) = { h t T h ¯ s d o t h t T W a h ¯ s g e n e r a l v a T t a n h ( W a [ h t ; h ¯ s ] ) c o n c a t

   注意:这里的 ht h t 的下标只是定义方便,在使用的时候,还是第一小节里面的 st1 s t − 1 ,预测某个 y y 时的target输入隐状态。
  在Location的 第一种形态下location-m,直接指定 pt=t p t = t ,然后使用窗口 D×2 D × 2 内解释变量。而在Location的 第二种形态location-p,对align关系引入波峰强度变化,以某个 h h 为中心呈正态分布。
  局部中心的函数定义为:(其中 S S 是source长度)
pt=Ssigmoid(vTptanh(Wpht)) p t = S ∗ s i g m o i d ( v p T t a n h ( W p h t ) )

  align weight定义为:
at(s)=align(ht,h¯s)e(spt)22σ2 a t ( s ) = a l i g n ( h t , h ¯ s ) e − ( s − p t ) 2 2 σ 2

  其中 align(ht,h¯s)=exp(score(ht,h¯s))sscore(ht,h¯s) a l i g n ( h t , h ¯ s ) = e x p ( s c o r e ( h t , h ¯ s ) ) ∑ s ′ s c o r e ( h t , h ¯ s ′ ) 2σ=D 2 σ = D Dsize/2 D 是 窗 口 大 小 s i z e / 2
  为了在预测时,告知模型以往的align决策,将 h˜t h ~ t 也作为当前预测的输入,称其为 Input-Feeding Approach。【这个地方,感觉好像也没什么必要,不管是global还是local里面,都有 ct c t h˜t h ~ t 作贡献(隐藏着收敛效果),是不是就可以不用了】converage set 指的是,在翻译任务中通常会包括份收敛集,来记录追踪哪些source词已经被翻译了。在带有Attention的NMT中,align决策也需要知道之前的align信息。在Global和Local结构中,align决策都是独立的,需要有个操作将之前的align决策告诉当前的预测操作,因此需要单独的结构来完成这一功能,因此Input-Feed还是有必要的(可能这也是虽然结构简单但是效果仍然非常好的另外一个助力)。

Neural Image Caption Generation with Visual Attention

  图像注释问题非常接近于Encoder-Decoder结构,在生成图像的某部分描述时,能够集中于图像某部分,Attention是个非常匹配的机制。K Xu2015时在图像注释的工作中使用Attention机制,命名为Visual Attention。其中定义了两种Attention机制:Stochastic Hard Attention 和 Deterministic Soft Attention,都可以压缩一张图片用以生成一段语言描述。
  使用卷积网络CNN来提取图像特征作为解释变量,提取 L L 个解释向量,每一个都表示了图像的某一部分。 a={a1,a2,...,aL},aiRD a = { a 1 , a 2 , . . . , a L } , a i ∈ R D ,为了能够描述更基础的图像特征,在底层卷积层上来抽取解释向量;用LSTM来作为解码器,生成描述语句。
1)Stochastic Hard Attention
   st,i=1 s t , i = 1 表示生成第 t t 个词时,第 i i 部分图像被关注(一共 L L 部分)。将注意位置作为隐变量,可以将由解释变量 ai a i 确定的上下文 z^t z ^ t 看作是随机变量【一方面,为随机选择关注部分图像作解释,一方面为采样寻优方法作约束】。

p(st,i=1|sj<t,a)=αt,iz^t=ist,iai p ( s t , i = 1 | s j < t , a ) = α t , i ⟶ z ^ t = ∑ i s t , i a i

定义目标函数 Ls L s ,其下限值逼近于 logp(y|a) l o g p ( y | a )
Ls=sp(s|a)logp(y|s,a)logsp(s|a)p(y|s,a)=logp(y|a) L s = ∑ s p ( s | a ) l o g p ( y | s , a ) ⩽ l o g ∑ s p ( s | a ) p ( y | s , a ) = l o g p ( y | a )
LsW=sp(s|a)[logp(y|s,a)W+logp(y|s,a)logp(s|a)W] ∂ L s ∂ W = ∑ s p ( s | a ) [ ∂ l o g p ( y | s , a ) ∂ W + l o g p ( y | s , a ) ∂ l o g p ( s | a ) ∂ W ]

上式指出基于MonteCarlo的采样方法来估计参数梯度是可行的,通过对 αi α i 决定的Multinoulli分布采样具体位置 st s t ,来估计参数导数,如下:
s~tMultinoulliL(αi) s ~ t ∼ M u l t i n o u l l i L ( α i )
LsW1Nn=1N[logp(y|s~n,a)W+logp(y|s~n,a)logp(s~n|a)W] ∂ L s ∂ W ≈ 1 N ∑ n = 1 N [ ∂ l o g p ( y | s ~ n , a ) ∂ W + l o g p ( y | s ~ n , a ) ∂ l o g p ( s ~ n | a ) ∂ W ]

引入滑动平均来降低估计方差波动,对第 k k 个mini-batch,如下处理:
bk=0.9×bk1+0.1×logp(y|s~k,a) b k = 0.9 × b k − 1 + 0.1 × l o g p ( y | s ~ k , a )

为进一步降低估计方差,引入熵 H[s] H [ s ]
最终的梯度如下:
LsW1Nn=1N[logp(y|s~n,a)W+λr(logp(y|s~n,a)b)logp(s~n|a)W+λeH[s~n]W] ∂ L s ∂ W ≈ 1 N ∑ n = 1 N [ ∂ l o g p ( y | s ~ n , a ) ∂ W + λ r ( l o g p ( y | s ~ n , a ) − b ) ∂ l o g p ( s ~ n | a ) ∂ W + λ e ∂ H [ s ~ n ] ∂ W ]

   λrλe λ r 和 λ e 是两个超参,上述式子相当于强化学习,对注意集中的后续动作收益是目标句子的似然概率值,在采样注意策略下。
  为什么称之为Hard Attention呢?是因为上下文 z^ z ^ 所用的解释向量是通过服从 αi α i 的分布采样得来的。
2)Deteriministic Soft Attention
  若是不使用采样,而是直接使用所有的区域,就变成了soft attention,在Bahdanau的15年文章里就是类似的方法。
Ep(st|α)[z^t]=i=1Lαt,iai E p ( s t | α ) [ z ^ t ] = ∑ i = 1 L α t , i a i
  优势在于非常适合于直接使用梯度下降来寻优,最终的目标函数如下:
Ld=logP(y|s)+λiL[1tCαt,i]2 L d = − l o g P ( y | s ) + λ ∑ i L [ 1 − ∑ t C α t , i ] 2

总结

Attention的基本结构:
1)可用采样估计梯度优化的Hard形式。
2)可直接计算梯度来优化的Soft形式。

Reference

  1. 2017 - 《Attention is All You Need》
  2. 2015 - 《Neural Machine Translation by Jointly Learning to Align and Translate》
  3. 2015 - 《NMT by Jointly Learning to Align and Translate》 source-code
  4. 2015 - 《Effective Approaches to Attention-based Neural Machine Translation》
  5. 2015 - 《Effective Approaches to Attention-based NMT》 source-code
  6. 2015 - 《Show, Attention and Tell: Neural Image Caption Generation with Visual Attention》
  7. 2015 - 《Deep Visual-Semantic Alignments for Generating Image Descriptions》
  8. https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html

你可能感兴趣的:(技术博客)