Transform模型

Elmo(基于LSTM)

Attention模型

• 例

  
  

• attention

  例

  
  

1. 隐藏层：$h_1,h_2,\cdots ,h_N$
2. on timestep t,we have decoder hiden state $s_t$
3. 可以得到sttention score $e^t$for thie step
   $$e^t=[s_t^T{h}_1,\cdots ,s_t^T{h}_N]$$
4. we take softmax to get the attenion distribution $a^t$ for this step
   $$a^t=softmax(e^t)$$
5. we use $a^t$ to take a weighted sum of the encodet hidden states to get the attention output $a_t$
   $$a_t=\sum _{i=1}^N{a}_i^t{h}_i$$
6. finally we conctenate the attention output $a_t$ with the decodet hidden state $s_t$ and proceed as in the non-attention seq2seq model

$$[a_t,s_t]$$

Self Attention模型

• 系统讲解

  首先该模型是一种自编码的方法，且为每个Embedding构建了三个向量：Queries向量即问题向量；Keys向量即被查询问题的向量；Values向量即该问题本身，其获取过程如下：
  图：

  
  

  我们将$X_1$乘以$W^Q$的权重矩阵得到新向量$q_1$，$q_1$就是query的向量。同理可得key，value的向量表示形式。

• 编码过程

  其编码过程如下图所示：

  
  

• Matrix Calculation of Self-Attention

  为了加快计算，该模型可以通过矩阵方式获取，如下图所示：

  1. 计算Query,Key和Value矩阵(scaled dot-product attention)
     
     

  此处X中的一行对应输入中的一个单词，上文中使用4个方格代表一个单词。

• 2. 计算Self-Attention层的输出
     
     

• Multihead

  Multihead可以理解为多层注意力模型,只是需要将多个结果连接($Z_0,Z_1,\cdots$)并压缩(W_0[$Z_0,Z_1,\cdots$])即可

  
  

• Positional Encoding

  使用Self-Attention方式进行编码时无法处理以下的顺序问题：
  我从北京到上海
  我从上海到北京
  上述两个语句进行编码时，第一句的北京与上海两个词的编码与第二句的北京与上海两个词的编码会完全相同，但这两个语句中的两个地点代表着不同的含义：起始位置、终点位置。为了解决此问题，进行自编码时在输入层引入了一个位置编码，如下所示：

$$PE(pos,2i)=sin(pos÷10000^{2i/d_{model}})$$
$$PE(pos,2i+1)=cos(pos÷10000^{2i/d_{model}})$$

• 编码过程：

    position_encoding = np.array(
    [[pos / np.power(10000, 2.0 * (j // 2) / d_model) for j in range(d_model)] for pos in range(max_seq_len)])
  
    position_encoding[:, 0::2] = np.sin(position_encoding[:, 0::2])
    position_encoding[:, 1::2] = np.cos(position_encoding[:, 1::2])
  

  与输入计算过程如下：

  
  

Transformer结构

• 结构

  Transformer由两部分组成：一个Encoder和一个Decoders。进一步剖析，发现每个Encoder中分别由6个Encoder组成。而每个Decoder中同样也由6个Decoder组成，如下图所示：

  
  

• Encoder-Decoder

  对于Encoders中每一个Encoder，他们结构都是相同的，但是并不会共享权值。每层Encoder由两部分组成，如下图所示：

  
  

  每个Encoder的输入首先会通过一个self-attention层，通过self-attention层帮助Encoder在编码过程中查看序列中的其他单词。Self-Attention的输出会被传入一个全连接的前馈神经网络，每个encoder的前馈神经网络参数都是相同的。每个Decoder也同样具有这样的层级结构，但是在这之间有一个Attention层，帮Decoder专注于输入据之中对应的那个单词。

• Encoder

  每个单词进入Self-Attention层后都会有一个对应的Attention层中的输出。Self-Attention层中输入和输出是存在依存关系的。而前馈层则没有依赖，所以在前馈层，我们可以用到并行化来提高速率。下面将介绍一个理解，如下所示：

1. 编码

   编码过程使用Self-Attention完成，此处就不再赘述

2. Add&Normalize

   算法

   

   此处使用的归一化方式为层间归一化，其与BN的区别如下：
   示例：

   
   
   

3. Mask

   mask表示掩码，它的主要作用是对某些值进行掩盖。我们以下图作为实例：

   a. 计算$Q{K}^T$可得如下矩阵：

   
   

• b. 一句话包含的数据长度可能不同，例如此处的一句话包含3个单词(How are you)，但有的长句子可能包含100多个单词。为了计算的方便我们一般希望一次处理相同的数据量，因此我们需要用到mask用来以用来后期进行计算，我们可以从代码中查看此掩码是如何工作的

    if mask is not None:
    	scores = scores.masked_fill(mask ==0 , -1e9)
    p_attn = softmax(scores,dim=-1)
  

  通过上述计算可以计算得到每个单词计算的权重矩阵，进而进一步计算Self-Attention。

• Decoder

  当序列输入时，Encoder开始工作，最后在其顶部的Encoder输出适量组成的列表，然后我们将其转化为一组(K,V)。(K,V)将带入每个Decoder的“Encoder-decoder attention”层中去计算，有助于decoder捕获输入序列的位置信息。完成Encoder后，我们开始Decoder阶段

  Decoder中的Attention层与Encoder中的Attention层略有不同，不能使用you 去预测 are 因此增加了一个掩码矩阵(sequence mask)，其形式如下：

  
  

ELMo

EMLo是一种新型深度语境化词表征，可对词进行复杂特征和词在语境中的变化进行建模。我们的词向量是深度双向语言模型(biLM)内部状态的函数，在一个大型文本语料中训练而来。EMLO的主要做法是先训练一个玩你整的语言模型，然后用这个语言模型去处理需要训练的文本，生成对应的词向量，所以对于同一个字在不同的句子中能生成不同的词向量。

• 语言模型训练

图例

• 缺陷

1. 时序训练无法并行
2. 无法完全避免梯度消失问题，从而导致long-term dependce问题
   3.前向与后向是单独处理的

OpenAI GPT

使用Transformer

降维算法 TNSE详解