NLP[4] - [2019年CS224N课程笔记 系列]

资源链接：https://www.bilibili.com/video/BV1r4411
 
 
这篇博客的内容是针对：2019年CS224N课程
写这篇博客的目的是整理知识点笔记，整理每一章节的NLP知识点，也是站在前人的肩膀上去归纳一下。自己在学习这门课的时候也做了相关的笔记，由于大多数比较多比较杂，来自知乎，外网，于是需要我整理一下，大家一起学习~

 
 
主要参考的博客：
【1】bitJoy 的课堂笔记 这位博主有很多自己的想法，很值得学习
【2】任菜菜学编程 ta基本上把老师上课讲的语录写下来了很不错
【3】川陀学者 知乎博主，应该是最开始写CS224n课程笔记的博主吧！
【4】LooperXX 知乎博主，其中有github上的课题笔记【重点】

还有其他的学习链接
[5] https://blog.csdn.net/han_xiaoyang/category_9266374.html
[6] https://blog.csdn.net/liuchonge
[7] https://web.stanford.edu/~jurafsky/slp3/
[8] 2017版的 CS224n： https://space.bilibili.com/34967/video?keyword=CS224
[9] 另外 CS224n视频链接：

• https://www.bilibili.com/video/BV1r4411f7td?p=8
• https://www.bilibili.com/video/av46216519?from=search&seid=9871559733043132040

 
 

---

Lecture 01 Introduction and Word Vectors

 
 

Lecture 02 Word Vectors 2 and Word Senses

 
 

Lecture 03 Word Window Classification, Neural Networks, and Matrix Calculus

 
 

Lecture 04 Backpropagation and Computation Graphs

 
 

---

Lecture 05 Linguistic Structure Dependency Parsing

 

本课程讲述了句法结构(syntactic structure)分析；
主要有两种方式：Constituency Parsing与Dependency Parsing。
 
Keywords：Dependency Structure

【1】自然语言处理基础技术之依存句法分析
【2】句法分析（PCFG，Transition-based parsing）
【3】CS224n句法分析
【4】基于神经网络的高性能依存句法分析器
【5】[CS224n笔记] L5 Dependency Parsing

 
 

---

Lecture 06 The probability of a sentence Recurrent Neural Networks and Language Models

介绍⼀个新的NLP任务Language Modeling (motivate RNNs)
介绍⼀个新的神经⽹络家族Recurrent Neural Networks (RNNs)
 
Keywords：n-gram、RNN、perplexity

【1】CS224N笔记(六)：语言模型与RNN
【2】[CS224n笔记] L6 The probability of a sentence Recurrent
Neural Networks and Language Models
 
 

---

Lecture 07 Vanishing Gradients and Fancy RNNs

本课程介绍了：RNNs的问题、以及如何修复它们、更复杂的 RNN 变体
 
Keywords：RNN、梯度消失或爆炸、LSTM、GRU、ResNet、Multi-layer RNNs

【1】RNN梯度消失和爆炸的原因
【2】RNN 的梯度消失问题
【3】shortcut和残差连接
【4】为什么LSTM阻止梯度消失：向后传递的观点

 
 

---

Lecture 08 Machine Translation, Seq2Seq and Attention

本课程介绍了：机器翻译相关的内容：包括基于概率模型的SMT、后来引入的神经机器翻译NMT、机器翻译中的神经网络架构也称为Seq2Seq，使用了两个RNNs 、最后介绍了注意力机制：Attention
 
Keywords：NMT、Attention

【1】2019年CS224N课程笔记-Lecture 8: MachineTranslation seq2seq Attention
【2】CS224n-2019 笔记列表
 
 

---

Lecture 09 Practical Tips for Final Projects

本课程介绍了：NLP的一些论文官网，数据集官网、并前几章的内容RNN、GRU、NMT做了简单的归纳。
 
Keywords：NLP相关论文、数据集

【1】机器翻译与自动文摘评价指标 BLEU 和 ROUGE
【2】ACL关于计算语言学和自然语言处理研究的论文
【3】arXiv 是一个免费开放论文库
【4】paperswithcode 附有github代码的论文库
【5】Jason Brownlee 大神博客
【6】统计机器翻译

 
 

---

Lecture 10 Question Answering and the Default Final Project

本课程介绍了：BiDAF（双向注意流问答系统）、FusionNet模型、BERT和ELMo模型在QA问题中的应用。本章节的后面部分仍然是以看论文为主，分析了前沿关于问答系统中的相关论文中的方法。
 
Keywords：NLP相关论文

【1】2019年CS224N课程笔记-Lecture 10: Question Answering
【2】BiDAF：机器理解之双向注意力流
 
 

---

Lecture 11 ConvNets for NLP

本课程介绍了：NLP问题中应用卷积操作、Deep CNN in NLP 、CNN相关的论文
 
Keywords：CNN 、NLP相关论文

【1】2019年CS224N课程笔记-Lecture 11: ConvNets for NLP
【2】CS224n Lecture11：Convolutional Networks for NLP
 
 

---

Lecture 12 Information from parts of words Subword Models

本课程介绍了：词素（morphemes）、character-level models、word-level models、和sub-word model 的两种趋势
 
Keywords：BPE、character-level、word-level、Hybrid NMT、FastText

【1】机器翻译中的OOV问题
【2】seq2seq + attention 详解
【3】2019年CS224N课程笔记-Lecture 12: Subword Models

 
 

---

Lecture 13 Modeling contexts of use Contextual Representations and Pretraining

本课程介绍了：讲述关于语境词表证和预处理，Pre-ELMo and ELMO 和 Transformer 、GPT-2 language model、BERT模型
 
Keywords：BERT、ELMO、GPT-2、Transformer

【1】CS224n Lecture13：Contextual Word Embeddings
【2】FlyAI小课堂：ELMo模型
 
 

---

Lecture 14 Transformers and Self-Attention For Generative Models

本课程介绍了：介绍了自注意力机制self-attention、Transformer
 
Keywords：self-attention、Transformer

【1】自注意力机制 self-attantion
【2】注意力机制 attantion
【3】[译] The Illustrated Transformer
【4】The Illustrated Transformer

 
 

---

Lecture 15 Natural Language Generation

本课程介绍了：NLG模型的特点、BLEU和ROUGE、翻译、摘要生成和对话、NLG评估
 
Keywords：NLG、BLEU、ROUGE

【1】机器翻译与自动文摘评价指标 BLEU 和 ROUGE
【2】2019年CS224N课程笔记-Lecture 15:Natural Language Generation

 
 

---

Lecture 16 Reference in Language and Coreference Resolution

本课程介绍了：讲述了共指消解
 
Keywords：Coreference Resolution

【1】知识图谱—实体对齐
【2】2019年CS224N课程笔记-Lecture 16:Coreference Resolution
【3】Coreference Resolution 指代消解论文解读
 
 

---

Lecture 17 Multitask Learning

本课程介绍了：多任务学习
 
Keywords：decaNLP

【1】2019年CS224N课程笔记-Lecture 17:Multitask Learning
【2】decaNLP：一个深度学习模型能完成几项NLP任务？

 
 

---

Lecture 18 Constituency Parsing and Tree Recursive Neural Networks

Lecture 19 Safety, Bias, and Fairness

Lecture 20 Future of NLP + Deep Learning