Transformer技术学习（原理+代码）

1. 论文

Attention Is All You Need https://arxiv.org/abs/1706.03762
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context https://arxiv.org/abs/1901.02860

2. Transformer原理

1.【NLP】Transformer详解 https://zhuanlan.zhihu.com/p/44121378
2. 详解Transformer （Attention Is All You Need） https://zhuanlan.zhihu.com/p/48508221
3. 模型详解 https://terrifyzhao.github.io/2019/01/11/Transformer模型详解.html
4. 深度学习：transformer模型 https://blog.csdn.net/pipisorry/article/details/84946653
5. Attention is all you need 论文阅读报告及代码详解 https://cupdish.com/2018/03/28/attention-is-all-you-need/#Self-attention-Model
6. 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 https://www.jiqizhixin.com/articles/2019-01-14-7
7. Transformer原理和实现 https://lonepatient.top/2019/01/17/BERT-Transformer.html
8. 深度学习中的注意力机制 https://blog.csdn.net/qq_40027052/article/details/78421155
9. 注意力机制（Attention Mechanism）https://blog.csdn.net/yimingsilence/article/details/79208092
10. 深度学习中的注意力机制 https://zhuanlan.zhihu.com/p/53036028
11. 浅谈Attention机制的理解 https://zhuanlan.zhihu.com/p/35571412
12. 注意力机制(Attention) https://zhuanlan.zhihu.com/p/52764530
13. 关于《注意力模型–Attention注意力机制》的学习 https://www.jianshu.com/p/e14c6a722381
14. 一文解读NLP中的注意力机制 https://xw.qq.com/cmsid/20190216A0GS3Z00
15. 干货 | NLP中的self-attention【自——注意力】机制 https://posts.careerengine.us/p/5ace345fee7fe9377315e6cb
16. 谷歌开源先进语言模型 Transformer-XL：集 Transformer 和 RNN 之大成 https://www.infoq.cn/article/wt-KaTfcsAv9E7exzIkF
17. CMU、谷歌提出Transformer-XL：学习超长上下文关系 https://www.jiqizhixin.com/articles/2019-01-18-5
18. 谷歌开源超强语言模型 Transformer-XL，两大技术解决长文本问题 https://zhuanlan.zhihu.com/p/56027916
19. Transformer XL https://zhuanlan.zhihu.com/p/59559847
20. Transformer-XL解读（论文 + PyTorch源码）https://blog.csdn.net/Magical_Bubble/article/details/89060213
21. 关于transformer-xl中rel-shift实现的解读 http://www.linzehui.me/2019/05/07/代码相关/关于transformer-xl中rel-shift实现的解读/
22. Transformer-XL论文笔记 http://www.xuwei.io/2019/06/27/transformer-xl论文笔记/
23. CMU和谷歌联手放出XL号Transformer！提速1800倍 | 代码+预训练模型+超参数 https://posts.careerengine.us/p/5c3d97d196c7772b331cd84e
24. Transformer-XL 之 Relative Positional Enco…https://www.lizenghai.com/archives/25302.html

3. Transformer代码

1.机器翻译模型Transformer代码详细解析 https://blog.csdn.net/mijiaoxiaosan/article/details/74909076
2. Transformer代码分析 https://zhuanlan.zhihu.com/p/54675834
3. Transformer代码阅读（Pytorch） http://fancyerii.github.io/2019/03/09/transformer-codes/