Transformer精选问答

Transformer精选问答

1 Transformer各自模块作用

• Encoder模块
  • 经典的Transformer架构中的Encoder模块包含6个Encoder Block.
  • 每个Encoder Block包含两个子模块, 分别是多头自注意力层, 和前馈全连接层.
    • 多头自注意力层采用的是一种Scaled Dot-Product Attention的计算方式, 实验结果表明, Mul ti-head可以在更细致的层面上提取不同head的特征, 比单一head提取特征的效果更佳.
    • 前馈全连接层是由两个全连接层组成, 线性变换中间增添一个Relu激活函数, 具体的维度采用4倍关系, 即多头自注意力的d_model=512, 则层内的变换维度d_ff=2048.
• Decoder模块
  • 经典的Transformer架构中的Decoder模块包含6个Decoder Block.
  • 每个Decoder Block包含3个子模块, 分别是多头自注意力层, Encoder-Decoder Attention层, 和前馈全连接层.
    • 多头自注意力层采用和Encoder模块一样的Scaled Dot-Product Attention的计算方式, 最大的 区别在于需要添加look-ahead-mask, 即遮掩"未来的信息".
    • Encoder-Decoder Attention层和上一