《斯坦福CS224n NLP》 学习大纲&资料&笔记

斯坦福CS224n自然语言处理课-学习大纲-为期13周

说明

每周具体学习时间划分为4个部分:
1部分安排周一到周二
2部分安排在周四到周五
3部分安排在周日
4部分作业是本周任何时候空余时间
周日晚上提交作业运行截图

Week1

1、深度学习介绍
2、自然语言处理介绍
3、自然语言应用领域
论文带读：一个简单但很难超越的Sentence Embedding基线方法
作业：Softmax 算法和Neural Network Basics 神经网络基础实现
比赛实战1：“达观杯”NLP算法大赛报名指导
Week1学习所需资料打包下载地址：

第1部分学习任务：
（1）观看自然语言处理课学习绪论，了解深度学习的概括和应用案例以及后续的一些学习安排
绪论视频地址： https://m.weike.fm/lecture/10194068
绪论课件下载：https://download.csdn.net/download/qq_34243930/10957572
【笔记】:https://blog.csdn.net/qq_34243930/article/details/88089961

（2）自然语言处理和深度学习简介，观看课件lecture01、视频1
课件: lecture01（链接地址： https://download.csdn.net/download/qq_34243930/10982630）
观看视频1（链接地址： https://www.bilibili.com/video/av41393758/?spm_id_from=333.788.videocard.2）
【笔记】:https://blog.csdn.net/qq_34243930/article/details/88090046

第2部分学习任务：
（1）词的向量表示1，观看课件lecture02、视频2
课件: lecture02（链接地址：https://download.csdn.net/download/qq_34243930/10991266）
观看视频2（链接地址： https://www.bilibili.com/video/av41393758/?p=2）
【笔记】:https://blog.csdn.net/qq_34243930/article/details/88090137

（2）观看达观杯NLP算法大赛报名指导PDF和入门指导视频
零基础1小时完成一场AI比赛
达观杯文本智能挑战赛入门指导（视频去荔枝微课看 https://m.weike.fm/lecture/10195400 ，密码是011220）

第3部分学习任务：
（1）论文：一个简单但很难超越的Sentence Embedding基线方法
论文原文: paper（链接地址： ）
论文分析: highlight（链接地址： ）
论文笔记：Sentence Embedding（链接地址： http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html ）

第4部分作业：
Assignment 1.1-1.2（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md ）
1.1 Softmax 算法
1.2 Neural Network Basics 神经网络基础实现
完成时间：任何空余时间
作业提交时间：12/18号之前

Week2

1、高级词向量表示：word2vec 2
2、Word Window分类与神经网络
论文带读：词语义项的线性代数结构与词义消歧
作业：word2vec 实现和Sentiment Analysis 情绪分析
比赛实战1：带打“达观杯”NLP算法大赛(入门版）

第1部分学习任务：
（1）高级词向量表示：word2vec 2，观看课件lecture03、视频3、学习笔记
学习时长：12/10—12/11
课件: lecture03（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture3.pdf ）
观看视频3（链接地址： https://www.bilibili.com/video/av30326868/?p=3 ）
学习笔记：word2vec 2（链接地址： http://www.hankcs.com/nlp/cs224n-advanced-word-vector-representations.html ）
第2部分学习任务：
（1）Word Window分类与神经网络，观看课件lecture04、视频4、学习笔记
学习时长：12/13—12/14
课件: lecture04（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture4.pdf ）
观看视频4（链接地址： https://www.bilibili.com/video/av30326868/?p=4 ）
学习笔记：Word Window分类与神经网络（链接地址： http://www.hankcs.com/nlp/cs224n-word-window-classification-and-neural-networks.html ）
第3部分学习任务：
（1）论文导读：词语义项的线性代数结构与词义消歧
学习时长：12/16
论文原文: paper（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Linear Algebraic Structure of Word Senses%2C with Applications to Polysemy.pdf ）
论文分析: highlight（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture2-highlight.pdf ）
论文笔记：Sentence Embedding（链接地址： http://www.hankcs.com/nlp/cs224n-word-senses.html ）
第4部分作业：
Assignment 1.3-1.4（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md ）
1.3 word2vec 实现
1.4 Sentiment Analysis 情绪分析
完成时间：本周任何空余时间
作业提交时间：12/18号之前

Week3

1、反向传播与项目指导：Backpropagation and Project Advice
2、依赖解析：Dependency Parsing
论文带读：高效文本分类
作业：Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析
比赛实战1：带打“达观杯”NLP算法大赛(进阶版）

第1部分学习任务：
（1）反向传播与项目指导：Backpropagation and Project Advice，观看课件lecture05、视频5、学习笔记
学习时长：12/17—12/18
· 课件: lecture05（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture5.pdf ）
· 观看视频5（链接地址： https://www.bilibili.com/video/av30326868/?p=5 ）
· 学习笔记：反向传播与项目指导（链接地址： http://www.hankcs.com/nlp/cs224n-backpropagation-and-project-advice.html ）
第2部分学习任务：
（1）依赖解析：Dependency Parsing，观看课件lecture06、视频6、学习笔记
学习时长：12/20—12/21
· 课件: lecture06（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture3.pdf ）
· 观看视频6（链接地址： https://www.bilibili.com/video/av30326868/?p=6 ）
· 学习笔记：句法分析和依赖解析（链接地址： http://www.hankcs.com/nlp/cs224n-dependency-parsing.html ）
第3部分学习内容：
（1）论文导读：高效文本分类
学习时长：12/23
· 论文原文: paper（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Bag of Tricks for Efficient Text Classification.pdf ）
· 论文分析: highlight（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture3-highlight.pdf ）
· 论文笔记：高效文本分类（链接地址： http://www.hankcs.com/nlp/cs224n-bag-of-tricks-for-efficient-text-classification.html ）
第4部分作业：
Assignment 2 准备（ https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md）
· 2.0.1 预习TensorFlow
· 2.0.2 仔细阅读作业2的要求，自学作业里要求里提到的神经网络训练方法
完成时间：本周任何空余时间

Week4

1、TensorFlow入门
2、RNN和语言模型
论文带读：词嵌入对传统方法的启发
作业：nsorflow Softmax 基于TensorFlow的softmax分类

第1部分学习任务：
（1）TensorFlow入门，观看课件lecture07、视频、学习笔记
学习时长：12/24—12/25
· 课件: lecture07（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture7-tensorflow.pdf ）
· 观看视频7（链接地址： https://www.bilibili.com/video/av30326868/?p=7 ）
· 学习笔记：TensorFlow（链接地址： http://www.hankcs.com/nlp/cs224n-tensorflow.html ）
（2）观看达观杯NLP算法大赛进阶指导视频
学习时长：12/24—1/6
· 达观杯文本智能挑战赛进阶指导（视频在荔枝微课看 https://m.weike.fm/lecture/10726829 ，密码是011220）

第2部分学习任务：
（1）RNN和语言模型，观看课件lecture08、视频、学习笔记
学习时长：12/27—12/28
· 课件: lecture08（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture8.pdf ）
· 观看视频8（链接地址： https://www.bilibili.com/video/av30326868/?p=8 ）
· 学习笔记：TensorFlow（链接地址： http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html ）
第3部分学习任务：
（1）论文导读：词嵌入对传统方法的启发
学习时长：12/30
· 论文原文: paper（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Impoving distributional similarly with lessons learned from word embeddings.pdf ）
· 论文分析: highlight（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture4-highlight.pdf ）
· 论文笔记：词嵌入对传统方法的启发（链接地址： http://www.hankcs.com/nlp/cs224n-improve-word-embeddings.html ）
第4部分作业：
Assignment 2.1，2.2（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md ）
· 2.1Tensorflow Softmax 基于TensorFlow的softmax分类
· 2.2 Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析
完成时间：本周任何空余时间
作业截止提交时间：12/30号之前

Week5

1、高级LSTM及GRU：LSTM and GRU
2、期中复习
论文带读：基于转移的神经网络句法分析的结构化训练
作业：Recurrent Neural Networks: Language Modeling 循环神经网络语言建模

第1部分学习任务：
（1）高级LSTM及GRU：LSTM and GRU，观看课件lecture09、视频、学习笔记
学习时长：12/31—1/1
· 课件: lecture09（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture9.pdf ）
· 观看视频9（链接地址： https://www.bilibili.com/video/av30326868/?p=9 ）
· 学习笔记：高级LSTM及GRU（链接地址： http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html ）
第2部分学习任务：
（1）期中复习，观看课件和视频、回顾上一阶段学习的知识
学习时长：1/03-1/04
· 课件: （链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-midterm-review.pdf ）
· 观看视频（链接地址： https://www.youtube.com/watch?v=2DYxT4OMAmw&list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6&index=10 ）
第3部分学习任务：
（1）论文导读：基于转移的神经网络句法分析的结构化训练
学习时长：1/06
· 论文原文: paper（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Structured Training for Neural Network Transition-Based Parsing.pdf ）
· 论文分析: highlight（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture6-highlight.pdf ）
· 论文笔记：基于神经网络句法分析的结构化训练（链接地址： http://www.hankcs.com/nlp/cs224n-syntaxnet.html ）
第4部分作业：
Assignment 2.3（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md ）
· Recurrent Neural Networks: Language Modeling 循环神经网络语言建模
完成时间：本周任何空余时间
作业截止提交时间：1/6之前

Week6

1、机器翻译、序列到序列、注意力模型：Machine Translation, Seq2Seq and Attention
2、GRU和NMT的进阶
论文带读：谷歌的多语种神经网络翻译系统
作业：A window into named entity recognition（NER）基于窗口模式的名称识别
比赛实战2：带打AI Challenger观点型问题阅读理解大赛（报名）

第1部分学习任务：
（1）机器翻译、序列到序列、注意力模型，观看课件lecture10、视频、学习笔记
学习时长：1/07-1/08
· 课件: lecture10（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture10.pdf ）
· 观看视频9（链接地址： https://www.bilibili.com/video/av30326868/?p=10 ）
· 学习笔记：机器翻译、序列到序列、注意力模型（链接地址： http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html ）
第2部分学习任务：
（1）GRU和NMT的进阶，观看课件lecture11、视频、学习笔记
学习时长：1/10-1/11
· 课件: lecture11（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture11.pdf ）
· 观看视频9（链接地址： https://www.bilibili.com/video/av30326868/?p=11 ）
· 学习笔记：GRU和NMT的进阶（链接地址： http://www.hankcs.com/nlp/cs224n-gru-nmt.html ）
第3部分学习任务：
（1）论文导读：谷歌的多语种神经网络翻译系统
学习时长：1/13
· 论文原文: paper（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Google’s Multilingual Neural Machine Translation System_ Enabling Zero-Shot Translation.pdf ）
· 论文分析: highlight（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture8-highlight.pdf ）
· 论文笔记：基于神经网络句法分析的结构化训练（链接地址： http://www.hankcs.com/nlp/cs224n-google-nmt.html ）
第4部分作业：
Assignment 3.1（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md ）
· A window into named entity recognition（NER）基于窗口模式的名称识别
完成时间：本周任何空余时间
作业截止提交时间：1/13号之前

Week7

1、语音识别的end-to-end模型
2、卷积神经网络:CNN
论文带读：读唇术
作业：Recurrent neural nets for named entity recognition(NER) 基于RNN的名称识别

第1部分学习任务：
（1）语音识别的end-to-end模型，观看课件lecture12、视频、学习笔记
学习时长：1/14—1/15
课件: lecture12（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture12.pdf ）
观看视频12（链接地址： https://study.163.com/course/introduction.htm?courseId=1006185093&trace_c_p_k2=d3eb7409f3d34b3fb4dd713b94571685 ）
学习笔记：语音识别的end-to-end模型（链接地址： http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html ）
第2部分学习任务：
（1）卷积神经网络:CNN，观看课件lecture13、视频、学习笔记
学习时长：1/17—1/18
课件: lecture13（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture13.pdf ）
观看视频13（链接地址： https://study.163.com/course/introduction.htm?courseId=1006185093#/courseDetail?tab=1 ）
学习笔记：卷积神经网络（链接地址： http://www.hankcs.com/nlp/cs224n-convolutional-neural-networks.html ）
第3部分学习任务：
（1）论文导读：读唇术
学习时长：1/20
论文原文: paper（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Lip Reading Sentences in the Wild.pdf ）
论文分析: highlight（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture9-highlight.pdf ）
论文笔记：读唇术（链接地址： http://www.hankcs.com/nlp/cs224n-lip-reading.html ）
第4部分作业：
Assignment 3.2（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md ）
Recurrent neural nets for named entity recognition(NER) 基于RNN的名称识别
完成时间：本周任何空余时间
作业截止提交时间：1/20号之前

Week8

1、Tree RNN与短语句法分析
2、指代消解
论文带读：谷歌的多语种神经网络翻译系统
作业：Grooving with GRUs(（NER）基于GRU的名称识别
比赛实战2：带打AI Challenger观点型问题阅读理解大赛（入门版）

第1部分学习任务：
挑战深度学习与自然语言处理的极限，观看课件lecture18、视频、学习笔记
学习时长：1/21-1/22
· 课件: lecture18（链接地址： https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture18.pdf ）
· 观看视频18（链接地址： https://www.bilibili.com/video/av30326868/?p=18 ）
学习笔记：挑战深度学习与自然语言处理的极限（链接地址： http://www.hankcs.com/nlp/cs224n-tackling-the-limits-of-dl-for-nlp.html）
第2、3部分学习任务：
（1）论文导读：neural-turing-machines
学习时长：1/24—1/27
论文原文: paper（ https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Deep Reinforcement Learning for Dialogue Generation.pdf ）
论文分析: highlight（ https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture14-highlight.pdf ）
论文笔记：neural-turing-machines（ http://www.hankcs.com/nlp/cs224n-neural-turing-machines.html ）

(2)论文导读： 深度强化学习用于对话生成
学习时长：1/24—1/27
论文原文: paper（ https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Deep Reinforcement Learning for Dialogue Generation.pdf ）
论文分析: highlight（ https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture11-highlight.pdf ）
论文笔记：深度强化学习用于对话生成（ http://www.hankcs.com/nlp/cs224n-deep-reinforcement-learning-for-dialogue-generation.html ）

Week9

1、DMN与问答系统
2、NLP存在的问题与未来的架构
论文带读：神经网络自动代码摘要

Week10

1、挑战深度学习与自然语言处理的极限
论文带读1：neural-turing-machines
论文带读2： 深度强化学习用于对话生成
比赛实战2：带打AI Challenger观点型问题阅读理解大赛（进阶版）

Week11-13

论文带读：图像对话
比赛复盘及期末总结

（1）论文导读：图像对话
学习时长：1/28—2/03
· 论文原文: paper（ https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture5-highlight.pdf ）
· 论文分析: highlight（ https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Visual Dialog.pdf ）
· 论文笔记：图像对话（ http://www.hankcs.com/nlp/cs224n-visual-dialog.html ）
（2）比赛复盘：对之前的比赛进行回顾
（3）课程总结：输出自己的笔记内容

讲在前面

1、分组学习
2、写博客很重要 CSDN/简书/等等
3、准备github，作业代码用GitHub存起来，动眼+动手
4、数学：高数、线性代数、概率论 + 英语：看英文论文
5、多读论文，论文是提升自我的利器
6、持之以恒
最后结课会有比赛