基于Transformers入门自然语言处理!

前言

读者朋友们好,我是多多,许久未见,甚是想念。

我最近忙了1件自己感觉有意义的事情,特来分享。我将之前零零散散的Transformer博客、讲解文章进行了整理,形成了一个完整的教程叫做:learn nlp with transformers,翻译过来是:基于Transformers入门自然语言处理。在这个Transformer横行的时间点,我也希望这个开源教程能够帮助到刚刚接触Transformers、刚刚接触NLP的同学们!

教程网站是:https://datawhalechina.github.io/learn-nlp-with-transformers

教程Github是:https://github.com/datawhalechina/learn-nlp-with-transformers (截止目前165 Stars 欢迎点Star支持

先特别感谢以下个人,组织的大力支持,再对Transformer教程进行介绍。感谢:张帆,张贤,李泺秋,蔡杰,hlzhang,台运鹏, 张红旭,文睿,开源组织Datawhale,Datawhale热心的组队学习成员们以及内测的全部同学们!

写教程的出发点

写这个教程的初衷是:当初自己入门NLP的时候,受到了很多大佬博客的帮助,所以也希望自己在力所能及的范围内帮助一下未来的NLP、Transformer初学者。所以我在参考了网上诸多大佬的文章、代码讲解后,结合一些个人的理解,整理了这个教程。希望这个教程能帮助到以下特点的学习者:

  • NLP初学者、transformer初学者

  • 有一定的python、pytorch编程基础

  • 对前沿的transformer、NLP模型感兴趣

  • 了解和知道简单的深度学习模型

教程主要内容

基于Transformers入门自然语言处理!_第1张图片

教程从Attention、注意力机制出发,讲解Transformer模型结构,然后详解BERT、GPT原理和预训练方法,再深入实现一个BERT,最后基于流行的Huggingface/Transformers代码库调用各种Transformer模型来解决4大类经典NLP任务。

教程的主要章节和内容是:

  • 篇章1-前言

    • 1.0-本地阅读和代码运行环境配置

    • 1.1-Transformers在NLP中的兴起

  • 篇章2-Transformer相关原理

    • 2.1-图解attention

    • 2.2-图解transformer

    • 2.2.1-Pytorch编写Transformer

    • 2.2.2-Pytorch编写Transformer-选读

    • 2.3-图解BERT

    • 2.4-图解GPT

    • 2.5-篇章小测

  • 篇章3-编写一个Transformer模型:BERT

    • 3.1-如何实现一个BERT

    • 3.2-如何应用一个BERT

    • 3.3-篇章小测

  • 篇章4-使用Transformers解决NLP任务

    • 4.0-前言

    • 4.1-文本分类

    • 4.2-序列标注

    • 4.3-问答任务-抽取式问答

    • 4.4-问答任务-多选问答

    • 4.5-生成任务-语言模型

    • 4.6-生成任务-机器翻译

    • 4.7-生成任务-摘要生成

    • 4.8-篇章小测

感兴趣的读者朋友们可以在github中查看更多细节,也欢迎点Star支持哦!

结语

由于本人水平有限,所撰写的内容难免出现错误,希望读者朋友们在发现错误或者歧义的表述时能够不吝指出,也可以提交pull request帮忙修正和改进,感谢!

觉得不错帮点赞、转发、在看支持吧~~谢谢。

欢迎关注公众号后回复“交流”,进入Transformer学习群。

你可能感兴趣的:(人工智能,编程语言,java,机器学习,python)