RNN+Attention+Transformer+Bert

学习资料整理，关于Bert的学习路径需大致按照如下进行理解：

1. Vanilla RNN(即最基础的RNN结构)

         递归神经网络 训练、推到、实现（网络资料整理） 

         The Unreasonable Effectiveness of Recurrent Neural Networks

2. Attention（nlp和图像领域关键模块）注意力机制

         Attention and Augmented Recurrent Neural Networks

         Neural Machine Translation (seq2seq) Tutorial (Tensorflow项目下的机器翻译readme)

3. Tranformer（Bert的结构基础单元，SOTA的翻译基础模型）

        The Illustrated Transformer   译文

        论文：Attention is All You Need

4. Bert

       【NLP】彻底搞懂BERT

         The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning)

         自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）

5. Bert in Recommender

         知乎问题

         BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

         推荐系统第9课：bert，gcn等最新算法在推荐系统中的应用