【nlp】3.6 Tansformer模型构建(编码器与解码器模块耦合)

Tansformer模型构建(编码器与解码器模块耦合)

  • 1. 模型构建介绍
  • 2 编码器-解码器结构的代码实现
  • 3 Tansformer模型构建过程的代码实现
  • 4 小结

1. 模型构建介绍

通过上面的小节, 我们已经完成了所有组成部分的实现, 接下来就来实现完整的编码器-解码器结构耦合.

Transformer总体架构图:
【nlp】3.6 Tansformer模型构建(编码器与解码器模块耦合)_第1张图片

2 编码器-解码器结构的代码实现

EncoderDecoder函数完成编码解码的子任务,就是把编码和解码的流程进行封装实现。

# 编码解码内部函数类 EncoderDecoder 实现分析
# init函数 (self, encoder, decoder, source_embed, target_embed, generator)
    # 5个成员属性赋值 encoder 编码器对象 decoder 解码器对象 source_embed source端词嵌入层对象
    # target_embed tar

你可能感兴趣的:(NLP自然语言处理,自然语言处理,人工智能)