Transformer

从全局角度概括Transfomer

6个encoder结构是完全相同的（但参数上不同），6个decoder结构是完全相同的（但参数上不同）。

先来介绍下input embedding和output embedding：

input embedding是编码器的输入，output embedding是解码器的输入。

input embedding和output embedding 是通过token embedding matrix 得到的，需要先构建token embedding matrix，维度是vocab_size乘d_model（vocab_size是词汇量的大小，d_model是词向量的长度，也就是说每一个词都用一个d_model维的向量表示，所有的词合起来就构成了这个矩阵），然后用tf.nn.embeddinglookup函数在matrix里按照x查询得到input embedding，x是由词的id构成的向量，设x的长度为T1，那么最终得到的input embedding的维数就是T1乘d_model。output embedding和input embedding的得到方式相同，不同的地方在于把x换成decoder_inputs，以机器翻译为例，要把T1长的英文翻译成T2长的中文，那么x是T1长的英文词id，decoder inputs就是对应T2长的中文词id，所以最终得到的output embedding是T2乘d_model维。

位置编码详细解读

rnn共享一套参数
就算你有100个timestamp（100个字、100个词）但是只有一套参数（U、W、V）
rnn梯度消失：rnn的梯度是梯度和，梯度消失不是变为0而是总梯度被近距离梯度阻挡，远距离梯度忽略不计

rnn的输入有先后，transfomer的输入是一起处理的，这样做增快了速度，但是忽略单词的先后关系，所有transfomer要位置编码



我爱你
pos我，k爱，pos+k你

多头注意力机制详解

Q先和K点乘，反应两个向量之间的相似度

---

详细介绍一下


attention：将特征和目标进行相似度匹配（Y1和X1～4，Y2和X1～4，Y3和X1～4）


g(x)是一个加和函数


query是汤姆，key1是Tom，key2是Chase，K3是Jerry


value和key是同一个东西

自注意力机制指的是QKV是同一个东西，也就是Tom chase jerry

---

这里的embedding加上了位置编码

多头将原始信息打到不同的空间

残差详解

残差结构确保不会出现梯度消失

Batch Normal详解

BN在NLP中效果很差，所以大多数情况下使用LN

BN针对所有样本的每一个特征

Layer Normal详解

不能我和今、爱和天、中和天这么做均值和方差（BN）
而应该我爱中国共产党、今天天气真不错做均值和方差（LN）

Decoder详解

因为在预测阶段是没有后面的信息的，所以需要mask




encode的KV，decode的Q