[NLP] 课程资料集

  1. 快速上手搞NLP
    这里放一个有课件并且有作业答案的链接 Deeplearning.ai-Natural-Language-Processing-Specialization 。 这个课程有以下内容:
    Natural Language Processing with Classification and Vector Spaces
    Natural Language Processing with Probabilistic Models
    Natural Language Processing with Sequence Models
    Natural Language Processing with Attention Models
    建议大家看课程材料,然后去把课程任务做一遍,没时间的直接把别人做好的作业下载下来跑一边也不错,上手就是那么快。

  2. 深度学习是怎么搞NLP
    这本书是清华大学NLP组的刘知远老师、林衍凯大佬和孙茂松老师在2020年上半年出的书,书是全英文的,讲到的技术都很新,基本上是以表征学习的角度在讲深度学习在NLP的应用。在深度学习领域里面,各种模型(CNN、RNN、BERT等)只认识数字,如何将文本表示模型能理解的语义表示,这就是这本书讨论的东西。这本书开篇对表征学习做了整体的介绍,然后分各个课题展开细节。从最早的词表示开始讲起,也就是word2vec、pre-trained LanguageModel这些。好的词表示能够方便找到词之间的语义相关性,或者在下游任务中提供一个较好的初始值、提升模型的效果。接着讲语义构造的方法,怎么从词到句子再到文档。建议大家先看第一章建立一个体系,然后再按需看其他的章节,查看目录,对感兴趣的点进行细看。

  3. 传统角度,没有深度学习是怎么搞NLP的

  4. 从Word Embedding到Bert模型——自然语言处理预训练技术发展史
    对于当前 NLP 的发展方向,我个人觉得有两点非常重要,一个是需要更强的特征抽取器,目前看 Transformer 会逐渐担当大任,但是肯定还是不够强的,需要发展更强的特征抽取器;第二个就是如何优雅地引入大量无监督数据中包含的语言学知识,注意我这里强调地是优雅,而不是引入,此前相当多的工作试图做各种语言学知识的嫁接或者引入,但是很多方法看着让人牙疼,就是我说的不优雅。目前看预训练这种两阶段方法还是很有效的,也非常简洁,当然后面肯定还会有更好的模型出现。

  5. 中文对比英文自然语言处理NLP的区别综述

  6. Stanford-NLP-Course 斯坦福传统NLP技术作业和作业答案。
    课件地址

  7. NLP之预训练技术发展

  8. Pre-Processing in Natural Language Machine Learning

  9. kaggle——text-preprocessing-using-python

你可能感兴趣的:(自然语言处理,深度学习,人工智能)