BERT学习资料

BERT大火时，一直忙于将产品落地，现在终于有时间详细系统地学习了。主要梳理一下学习顺序及清晰的解读文章。

• 阅读BERT论文之前，建议先学习Transfomer，对应论文为：Attention Is All You Need，另附一篇通俗易懂的解读文章：BERT大火却不懂Transformer？读这一篇就够了
• 肯定要读一下BERT的论文：BERT: Pre-training of Deep Bidirectional Transformers for
  Language Understanding
• 看完论文可以阅读一下大神们的解读，检查和自己理解的是否有偏差：【NLP】彻底搞懂BERT NLP的游戏规则从此改写？从word2vec, ELMo到BERT
• 理解完理论，当然要来实操一下，加深理解，google官方代码:https://github.com/google-research/bert， 该代码自然是基于TensorFlow的，喜欢使用pytorch的可以学习https://github.com/huggingface/pytorch-transformers的代码，是官方认可的pytorch版本