transformer的Encoder和decoder的输入

1.Encoder的输入:enc_inputs

其一:用来生成Encoder自注意的mask,其二:在多头自注意中计算Q、K、V矩阵

2.decoder的输入:dec_inputs,enc_inputs,enc_outputs

dec_inputs:其一,用来生成decoder自注意的mask矩阵。其二,计算decoder的多头自注意层的Q、K、V矩阵。

enc_inputs:用来生成decoder中编码-解码层的mask矩阵,避免受Encoder输入中padding的影响。

enc_outputs:计算Decoder中编码-解码层中的K、V矩阵。

而decoder中编码-解码层中的Q矩阵,有decoder的多头自注意层的输出计算得到。

你可能感兴趣的:(模型模块学习,pytorch,自然语言处理)