Transforme原理--全局解读

文章目录

  • 作用
  • 全局解读

作用

Transformer最初设计用于处理序列数据,特别在NLP(自然语言处理)领域取得了巨大成功

全局解读

Transformer来源于谷歌的一篇经典论文Attention is All you Need

在此使用Transformer在机器翻译中的运用来讲解Transformer。

其中Transformer可以分为Encoders、Decoders两部分。Encoders由多个Encoder组成,其中每个Encoder的结构完全相同,但是参数各不相同。Decoders同理。

Transforme原理--全局解读_第1张图片
分析原论文给出的Transformer原理图也可以得出同样的结果。

特别的,Encoders中的Encoder是并行的,每个Encoders都独立的处理输入序列的不同部分,而不需要等待前一个Encoder完成处理。
Transforme原理--全局解读_第2张图片

你可能感兴趣的:(深度学习,自然语言处理,transformer)