Transformer相关

Transformer相关

Transformer采用经典的encoder-decoder框架,是一个基于self-attention来计算输入和输出表示的模型,现已被应用于计算机视觉、自然语言处理等领域,都有非常好的效果。
写了“Transformer相关”系列的博客,将尽可能覆盖Transformer触及的相关知识,一起手撕Transformer~
Transformer相关——(1)Encoder-Decoder框架
Transformer相关——(2)Seq2Seq模型
Transformer相关——(3)Attention机制
Transformer相关——(4)Poisition encoding
Transformer相关——(5)残差模块
Transformer相关——(6)Normalization方式
Transformer相关——(7)Mask机制
Transformer相关——(8)Transformer模型
Transformer相关——(9)训练Transformer
Transformer相关——(10)Transformer代码分析

你可能感兴趣的:(深度学习,机器学习,nlp)