Transformer之机器翻译

话不多说,上图

Transformer之机器翻译_第1张图片

那么如何用pytorch搭建一个自己的Transformer并且用到NMT上呢

实现思路:

首先是Encoder层,这个层由多个EncoderBLock组成,

每个block为:Attention + residual + LN + FC + residual + LN

最后得到一个 batch_size,in_seq_len,embedding_dim的矩阵(和初始输入一样)

然后是Decoder层,这个层我们也可以理解为多个DecoderBlock组成,

每个block为:Attention + residual + LN + Attention + residual + LN + FC + residual + LN

因为由于我们做训练的时候,我们给的output是整句话,但是做预测的时候,模型要一个字一个字输出,所以Decoder的Attention存在Mask,所以我们对每个输入都要得到一个Mask矩阵,decoder的mask是为了不能看到未来,encoder的mask是为了去掉pad与单词的联系

那么最后我们也可以得到一个 batch_size,out_seq_len,embedding的矩阵

最后连接一个FC层(embedding,tgt_vocab_size)和softmax,我们就可以得到每一个目标字(词)的概率值,最后计算一下交叉熵损失,值得说的是,比如我们的翻译句子为:你好

那么我们的output应该为:index(BOS) index(你) index(好),

那么算损失的时候我们的目标为:index(你) index(好) index(EOS)

attention原理就不再说明了,相信各位也有一定基础,网上也有很精简的解释

最后给出结果,可能是分词不够精确吧,英文我用的是字母为单位的,中文我用的单个字做单位,数据也是比较少,只用了5000句话做训练(有好的GPU可以试一下用大一点的数据集),训练了2000轮,所以我感觉我现在训练的模型只是将句子背下来,没有创新能力,用单词作为单位可能会好一点(果然学深度学习确实很吃配置啊!)

Transformer之机器翻译_第2张图片

上代码

Transformer之机器翻译_第3张图片

对了如果要训练记得把config的device重新转为cuda就行

你可能感兴趣的:(transformer,机器翻译,深度学习)