斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)

ShowMeAI研究中心

  • 作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI
  • 教程地址:http://www.showmeai.tech/tutorials/36
  • 本文地址:http://www.showmeai.tech/article-detail/240
  • 声明:版权所有,转载请联系平台与作者并注明出处
  • 收藏ShowMeAI查看更多精彩内容

循环神经网络与语言模型

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件,做了中文翻译和注释,并制作成了GIF动图!

语言模型、RNN、GRU与LSTM

本讲内容的深度总结教程可以在这里 查看。视频和课件等资料的获取方式见文末


引言

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第1张图片

(本篇内容也可以参考ShowMeAI的对吴恩达老师课程的总结文章深度学习教程 | 序列模型与RNN网络

本篇内容覆盖

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第2张图片

  • 介绍一个新的NLP任务
    • Language Modeling 语言模型
  • 介绍一个新的神经网络家族
    • Recurrent Neural Networks (RNNs)

1.语言模型

1.1 语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第3张图片

语言建模的任务是预测下一个单词是什么

更正式的说法是:给定一个单词序列 x ( 1 ) , x ( 2 ) , … , x ( t ) \boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)}, \ldots, \boldsymbol{x}^{(t)} x(1),x(2),,x(t),计算下一个单词 x ( t + 1 ) x^{(t+1)} x(t+1) 的概率分布:

P ( x ( t + 1 ) ∣ x ( t ) , … , x ( 1 ) ) P\left(\boldsymbol{x}^{(t+1)} \mid \boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(1)}\right) P(x(t+1)x(t),,x(1))

  • 其中, x ( t + 1 ) x^{(t+1)} x(t+1) 可以是词表中的任意单词 V = { w 1 , … , w ∣ V ∣ } V=\left\{\boldsymbol{w}_{1}, \ldots, \boldsymbol{w}_{|V|}\right\} V={w1,,wV}
  • 这样做的系统称为 Language Model 语言模型

1.2 语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第4张图片

  • 还可以将语言模型看作评估一段文本是自然句子(通顺度)的概率

  • 例如,如果我们有一段文本 x ( 1 ) , … , x ( T ) x^{(1)},\dots,x^{(T)} x(1),,x(T),则这段文本的概率(根据语言模型)为

P ( x ( 1 ) , … , x ( T ) ) = P ( x ( 1 ) ) × P ( x ( 2 ) ∣ x ( 1 ) ) × ⋯ × P ( x ( T ) ∣ x ( T − 1 ) , … , x ( 1 ) ) = ∏ t = 1 T P ( x ( t ) ∣ x ( t − 1 ) , … , x ( 1 ) ) \begin{aligned} P\left(\boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(T)}\right) &=P\left(\boldsymbol{x}^{(1)}\right) \times P\left(\boldsymbol{x}^{(2)} \mid \boldsymbol{x}^{(1)}\right) \times \cdots \times P\left(\boldsymbol{x}^{(T)} \mid \boldsymbol{x}^{(T-1)}, \ldots, \boldsymbol{x}^{(1)}\right) \\ &=\prod_{t=1}^{T} P\left(\boldsymbol{x}^{(t)} \mid \boldsymbol{x}^{(t-1)}, \ldots, \boldsymbol{x}^{(1)}\right) \end{aligned} P(x(1),,x(T))=P(x(1))×P(x(2)x(1))××P(x(T)x(T1),,x(1))=t=1TP(x(t)x(t1),,x(1))

  • 语言模型提供的是 ∏ t = 1 T P ( x ( t ) ∣ x ( t − 1 ) , … , x ( 1 ) ) \prod_{t=1}^{T} P\left(\boldsymbol{x}^{(t)} \mid \boldsymbol{x}^{(t-1)}, \ldots, \boldsymbol{x}^{(1)}\right) t=1TP(x(t)x(t1),,x(1))

1.3 随处可见的语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第5张图片

1.4 随处可见的语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第6张图片

1.5 n-gram 语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第7张图片

the students opened their __

  • 问题:如何学习一个语言模型?

  • 回答(深度学习之前的时期):学习一个 n-gram 语言模型

  • 定义:n-gram是一个由 n n n 个连续单词组成的块

    • unigrams: the, students, opened, their
    • bigrams: the students, students opened, opened their
    • trigrams: the students opened, students opened their
    • 4-grams: the students opened their
  • 想法:收集关于不同 n-gram 出现频率的统计数据,并使用这些数据预测下一个单词

1.6 n-gram 语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第8张图片

  • 首先,我们做一个简化假设: x ( t + 1 ) x^{(t+1)} x(t+1) 只依赖于前面的 n − 1 n-1 n1 个单词

P ( x ( t + 1 ) ∣ x ( t ) , … , x ( 1 ) ) = P ( x ( t + 1 ) ∣ x ( t ) , … , x ( t − n + 2 ) ) = P ( x ( t + 1 ) , x ( t ) , … , x ( t − n + 2 ) ) P ( x ( t ) , … , x ( t − n + 2 ) ) \begin{aligned} P\left(\boldsymbol{x}^{(t+1)} \mid \boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(1)}\right) & =P\left(\boldsymbol{x}^{(t+1)} \mid \boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(t-n+2)}\right)\\ &=\frac{P\left(\boldsymbol{x}^{(t+1)}, \boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(t-n+2)}\right)}{P\left(\boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(t-n+2)}\right)} \end{aligned} P(x(t+1)x(t),,x(1))=P(x(t+1)x(t),,x(tn+2))=P(x(t),,x(tn+2))P(x(t+1),x(t),,x(tn+2))

  • 问题:如何得到n-gram和(n-1)-gram的概率?
  • 回答:通过在一些大型文本语料库中计算它们(统计近似)

≈ count ⁡ ( x ( t + 1 ) , x ( t ) , … , x ( t − n + 2 ) ) count ⁡ ( x ( t ) , … , x ( t − n + 2 ) ) \approx \frac{\operatorname{count}\left(\boldsymbol{x}^{(t+1)}, \boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(t-n+2)}\right)}{\operatorname{count}\left(\boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(t-n+2)}\right)} count(x(t),,x(tn+2))count(x(t+1),x(t),,x(tn+2))

1.7 n-gram 语言模型:示例

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第9张图片

假设我们正在学习一个 4-gram 的语言模型

  • 例如,假设在语料库中:
    • students opened their 出现了 1000 1000 1000
    • students opened their books 出现了 400 400 400

P ( books ∣ students opened their ) = 0.4 P(\text{books} \mid \text{students opened their})=0.4 P(booksstudents opened their)=0.4

  • students opened their exams 出现了 100 100 100

P ( exams ∣ students opened their ) = 0.1 P( \text{exams} \mid \text{students opened their})=0.1 P(examsstudents opened their)=0.1

  • 我们应该忽视上下文中的 proctor 吗?
    • 在本例中,上下文里出现了 proctor,所以 exams 在这里的上下文中应该是比 books 概率更大的。

1.8 n-gram语言模型的稀疏性问题

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第10张图片

  • 问题1:如果students open their ww 从未出现在数据中,那么概率值为 0 0 0

  • (Partial)解决方案:为每个 w ∈ V w \in V wV 添加极小数 δ \delta δ ,这叫做平滑。这使得词表中的每个单词都至少有很小的概率。

  • 问题2:如果students open their 从未出现在数据中,那么我们将无法计算任何单词 w w w 的概率值

  • (Partial)解决方案:将条件改为open their,也叫做后退处理。

  • Note/注意: n n n 的增加使稀疏性问题变得更糟。一般情况下 n n n 不能大于 5 5 5

1.9 n-gram语言模型的存储问题

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第11张图片

问题:需要存储你在语料库中看到的所有 n-grams 的计数

增加 n n n 或增加语料库都会增加模型大小

1.10 n-gram 语言模型在实践中的应用

Try for yourself: https://nlpforhackers.io/language-models/

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第12张图片

  • 你可以在你的笔记本电脑上,在几秒钟内建立一个超过170万个单词库(Reuters)的简单的三元组语言模型
    • Reuters 是 商业和金融新闻的数据集

稀疏性问题

  • 概率分布的粒度不大。today the companytoday he bank都是4/26,都只出现过四次

1.11 n-gram语言模型的生成文本

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第13张图片

  • 可以使用语言模型来生成文本

  • 使用trigram运行以上生成过程时,会得到上图左侧的文本

  • 令人惊讶的是其具有语法但是是不连贯的。如果我们想要很好地模拟语言,我们需要同时考虑三个以上的单词。但增加 n n n 使模型的稀疏性问题恶化,模型尺寸增大

1.12 如何搭建一个神经语言模型?

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第14张图片

  • 回忆一下语言模型任务

    • 输入:单词序列 x ( 1 ) , x ( 2 ) , … , x ( t ) \boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)}, \ldots, \boldsymbol{x}^{(t)} x(1),x(2),,x(t)
    • 输出:下一个单词的概 P ( x ( t + 1 ) ∣ x ( t ) , … , x ( 1 ) ) P\left(\boldsymbol{x}^{(t+1)} \mid \boldsymbol{x}^{(t)}, \ldots, \boldsymbol{x}^{(1)}\right) P(x(t+1)x(t),,x(1))率分布
  • window-based neural model 在第三讲中被用于NER问题

1.13 固定窗口的神经语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第15张图片

  • 使用和NER问题中同样网络结构

1.14 固定窗口的神经语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第16张图片

1.15 固定窗口的神经语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第17张图片

超越 n-gram 语言模型的改进

  • 没有稀疏性问题
  • 不需要观察到所有的n-grams

NNLM存在的问题

  • 固定窗口太小
  • 扩大窗口就需要扩大权重矩阵 W W W
  • 窗口再大也不够用
  • x ( 1 ) x^{(1)} x(1) x ( 2 ) x^{(2)} x(2) 乘以完全不同的权重。输入的处理不对称

我们需要一个神经结构,可以处理任何长度的输入

2.循环神经网络(RNN)

2.1 循环神经网络(RNN)

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第18张图片

  • 核心想法:重复使用相同的权重矩阵 W W W

2.2 RNN语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第19张图片

2.3 RNN语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第20张图片

  • RNN的优点

    • 可以处理任意长度的输入
    • 步骤 t t t 的计算(理论上)可以使用许多步骤前的信息
    • 模型大小不会随着输入的增加而增加
    • 在每个时间步上应用相同的权重,因此在处理输入时具有对称性
  • RNN的缺点

    • 循环串行计算速度慢
    • 在实践中,很难从许多步骤前返回信息

2.4 训练一个RNN语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第21张图片

  • 获取一个较大的文本语料库,该语料库是一个单词序列

  • 输入RNN-LM;计算每个步骤 t t t 的输出分布

    • 即预测到目前为止给定的每个单词的概率分布
  • 步骤 t t t 上的损失函数为预测概率分布 y ^ ( t ) \hat{\boldsymbol{y}}^{(t)} y^(t) 与真实下一个单词 y ( t ) {\boldsymbol{y}}^{(t)} y(t) ( x ( t + 1 ) x^{(t+1)} x(t+1)的独热向量)之间的交叉熵

J ( t ) ( θ ) = C E ( y ( t ) , y ^ ( t ) ) = − ∑ w ∈ V y w ( t ) log ⁡ y ^ w ( t ) = − log ⁡ y ^ x t + 1 ( t ) J^{(t)}(\theta)=C E\left(\boldsymbol{y}^{(t)}, \hat{\boldsymbol{y}}^{(t)}\right)=-\sum_{w \in V} \boldsymbol{y}_{w}^{(t)} \log \hat{\boldsymbol{y}}_{w}^{(t)}=-\log \hat{\boldsymbol{y}}_{\boldsymbol{x}_{t+1}}^{(t)} J(t)(θ)=CE(y(t),y^(t))=wVyw(t)logy^w(t)=logy^xt+1(t)

  • 将其平均,得到整个训练集的总体损失

J ( θ ) = 1 T ∑ t = 1 T J ( t ) ( θ ) = 1 T ∑ t = 1 T − log ⁡ y ^ x t + 1 ( t ) J(\theta)=\frac{1}{T} \sum_{t=1}^{T} J^{(t)}(\theta)=\frac{1}{T} \sum_{t=1}^{T}-\log \hat{\boldsymbol{y}}_{\boldsymbol{x}_{t+1}}^{(t)} J(θ)=T1t=1TJ(t)(θ)=T1t=1Tlogy^xt+1(t)

2.5 训练一个RNN语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第22张图片

J ( 1 ) ( θ ) + J ( 2 ) ( θ ) + J ( 3 ) ( θ ) + J ( 4 ) ( θ ) + ⋯ = J ( θ ) = 1 T ∑ t = 1 T J ( t ) ( θ ) J^{(1)}(\theta)+J^{(2)}(\theta)+J^{(3)}(\theta)+J^{(4)}(\theta)+\cdots=J(\theta)=\frac{1}{T} \sum_{t=1}^{T} J^{(t)}(\theta) J(1)(θ)+J(2)(θ)+J(3)(θ)+J(4)(θ)+=J(θ)=T1t=1TJ(t)(θ)

2.6 训练一个RNN语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第23张图片

  • 然而:计算整个语料库 x ( 1 ) , … , x ( T ) \boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(T)} x(1),,x(T) 的损失和梯度太昂贵了

J ( θ ) = 1 T ∑ t = 1 T J ( t ) ( θ ) J(\theta)=\frac{1}{T} \sum_{t=1}^{T} J^{(t)}(\theta) J(θ)=T1t=1TJ(t)(θ)

  • 在实践中,我们通常将 x ( 1 ) , … , x ( T ) \boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(T)} x(1),,x(T) 看做一个句子或是文档
  • 回忆:随机梯度下降允许我们计算小块数据的损失和梯度,并进行更新
  • 计算一个句子的损失 J ( θ ) J(\theta) J(θ) (实际上是一批句子),计算梯度和更新权重。重复上述操作。

2.7 RNN的反向传播

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第24张图片

  • 问题:关于 重复的 权重矩阵 W h W_h Wh 的偏导数 J ( t ) ( θ ) J^{(t)}(\theta) J(t)(θ)
  • 回答:重复权重的梯度是每次其出现时的梯度的总和

∂ J ( t ) ∂ W h = ∑ i = 1 t ∂ J ( t ) ∂ W h ∣ ( i ) \frac{\partial J^{(t)}}{\partial \boldsymbol{W}_{\boldsymbol{h}}}=\sum_{i=1}^{t}\left.\frac{\partial J^{(t)}}{\partial \boldsymbol{W}_{\boldsymbol{h}}}\right|_{(i)} WhJ(t)=i=1tWhJ(t)(i)

2.8 多变量链式法则

Source: https://www.khanacademy.org/math/multivariable-calculus/multivariable-derivatives/differentiating-vector-valued-functions/a/multivariable-chain-rule-simple-version

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第25张图片

  • 对于一个多变量函数 f ( x , y ) f(x,y) f(x,y) 和两个单变量函数 x ( t ) x(t) x(t) y ( t ) y(t) y(t),其链式法则如下:

d d t f ( x ( t ) , y ( t ) ) = ∂ f ∂ x d x d t + ∂ f ∂ y d y d t \frac{d}{d t} f(x(t), y(t))=\frac{\partial f}{\partial x} \frac{d x}{d t}+\frac{\partial f}{\partial y} \frac{d y}{d t} dtdf(x(t),y(t))=xfdtdx+yfdtdy

2.9 RNN的反向传播:简单证明

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第26张图片

  • 对于一个多变量函数 f ( x , y ) f(x,y) f(x,y) 和两个单变量函数 x ( t ) x(t) x(t) y ( t ) y(t) y(t),其链式法则如下:

d d t f ( x ( t ) , y ( t ) ) = ∂ f ∂ x d x d t + ∂ f ∂ y d y d t \frac{d}{d t} f(x(t), y(t))=\frac{\partial f}{\partial x} \frac{d x}{d t}+\frac{\partial f}{\partial y} \frac{d y}{d t} dtdf(x(t),y(t))=xfdtdx+yfdtdy

2.10 RNN的反向传播

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第27张图片

  • 问题:如何计算?
  • 回答:反向传播的时间步长 i = t , … , 0 i=t,\dots,0 i=t,,0。累加梯度。这个算法叫做 “backpropagation through time”

2.11 RNN语言模型的生成文本

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第28张图片

  • 就像n-gram语言模型一样,你可以使用RNN语言模型通过重复采样来生成文本。采样输出是下一步的输入。

2.12 RNN语言模型的生成文本

Source: https://medium.com/@samim/obama-rnn-machine-generated-political-speeches-c8abd18a2ea0

Source: https://medium.com/deep-writing/harry-potter-written-by-artificial-intelligence-8a9431803da6

Source: https://gist.github.com/nylki/1efbaa36635956d35bcc

Source: http://aiweirdness.com/post/160776374467/new-paint-colors-invented-by-neural-network

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第29张图片

补充讲解

  • 相比n-gram更流畅,语法正确,但总体上仍然很不连贯

  • 食谱的例子中,生成的文本并没有记住文本的主题是什么

  • 哈利波特的例子中,甚至有体现出了人物的特点,并且引号的开闭也没有出现问题

    • 也许某些神经元或者隐藏状态在跟踪模型的输出是否在引号中
  • RNN是否可以和手工规则结合?

    • 例如Beam Serach,但是可能很难做到

3.评估语言模型

3.1 评估语言模型

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第30张图片

  • 标准语言模型评估指标是 perplexity 困惑度
  • 这等于交叉熵损失 J ( θ ) J(\theta) J(θ) 的指数

= ∏ t = 1 T ( 1 y ^ x t + 1 ( t ) ) 1 / T = exp ⁡ ( 1 T ∑ t = 1 T − log ⁡ y ^ x t + 1 ( t ) ) = exp ⁡ ( J ( θ ) ) =\prod_{t=1}^{T}\left(\frac{1}{\hat{y}_{x_{t+1}}^{(t)}}\right)^{1 / T}=\exp \left(\frac{1}{T} \sum_{t=1}^{T}-\log \hat{\boldsymbol{y}}_{\boldsymbol{x}_{t+1}}^{(t)}\right)=\exp (J(\theta)) =t=1T(y^xt+1(t)1)1/T=exp(T1t=1Tlogy^xt+1(t))=exp(J(θ))

  • 困惑度越低效果越好

3.2 RNN极大地改善了困惑度

Source: https://research.fb.com/building-an-efficient-neural-language-model-over-a-billion-words/

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第31张图片

3.3 为什么我们要关心语言模型?

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第32张图片

  • 语言模型是一项基准测试任务,它帮助我们衡量我们在理解语言方面的 进展

    • 生成下一个单词,需要语法,句法,逻辑,推理,现实世界的知识等
  • 语言建模是许多NLP任务的子组件,尤其是那些涉及生成文本或估计文本概率的任务

    • 预测性打字、语音识别、手写识别、拼写/语法纠正、作者识别、机器翻译、摘要、对话等等

3.4 要点回顾

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第33张图片

  • 语言模型:预测下一个单词的系统
  • 循环神经网络:一系列神经网络
    • 采用任意长度的顺序输入
    • 在每一步上应用相同的权重
    • 可以选择在每一步上生成输出
  • 循环神经网络 ≠ \ne = 语言模型
  • 我们已经证明,RNNs是构建LM的一个很好的方法。
  • 但RNNs的用处要大得多!

3.5 RNN可用于句子分类

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第34张图片

  • 如何计算句子编码
  • 基础方式:使用最终隐层状态
  • 通常更好的方式:使用所有隐层状态的逐元素最值或均值
  • Encoder的结构在NLP中非常常见

3.6 RNN语言模型可用于生成文本

斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型(NLP通关指南·完结)_第35张图片

  • 这是一个条件语言模型的示例。我们使用语言模型组件,并且最关键的是,我们根据条件来调整它

4.视频教程

可以点击 B站 查看视频的【双语字幕】版本

【双语字幕+资料下载】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)

5.参考资料

  • 《斯坦福NLP名课带学详解 | CS224n》本讲带学的动态翻页PPT在线阅翻页-Lecture6
  • 《斯坦福CS224n深度学习与自然语言处理》课程学习指南
  • 《斯坦福CS224n深度学习与自然语言处理》课程大作业解析
  • 双语字幕视频】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)
  • Stanford官网 | CS224n: Natural Language Processing with Deep Learning

ShowMeAI 深度学习与自然语言处理教程(完整版)

  • ShowMeAI 深度学习与自然语言处理教程(1) - 词向量、SVD分解与Word2vec
  • ShowMeAI 深度学习与自然语言处理教程(2) - GloVe及词向量的训练与评估
  • ShowMeAI 深度学习与自然语言处理教程(3) - 神经网络与反向传播
  • ShowMeAI 深度学习与自然语言处理教程(4) - 句法分析与依存解析
  • ShowMeAI 深度学习与自然语言处理教程(5) - 语言模型、RNN、GRU与LSTM
  • ShowMeAI 深度学习与自然语言处理教程(6) - 神经机器翻译、seq2seq与注意力机制
  • ShowMeAI 深度学习与自然语言处理教程(7) - 问答系统
  • ShowMeAI 深度学习与自然语言处理教程(8) - NLP中的卷积神经网络
  • ShowMeAI 深度学习与自然语言处理教程(9) - 句法分析与树形递归神经网络

ShowMeAI 斯坦福NLP名课 CS224n带学详解(20讲·完整版)

  • 斯坦福NLP名课带学详解 | CS224n 第1讲 - NLP介绍与词向量初步
  • 斯坦福NLP名课带学详解 | CS224n 第2讲 - 词向量进阶
  • 斯坦福NLP名课带学详解 | CS224n 第3讲 - 神经网络知识回顾
  • 斯坦福NLP名课带学详解 | CS224n 第4讲 - 神经网络反向传播与计算图
  • 斯坦福NLP名课带学详解 | CS224n 第5讲 - 句法分析与依存解析
  • 斯坦福NLP名课带学详解 | CS224n 第6讲 - 循环神经网络与语言模型
  • 斯坦福NLP名课带学详解 | CS224n 第7讲 - 梯度消失问题与RNN变种
  • 斯坦福NLP名课带学详解 | CS224n 第8讲 - 机器翻译、seq2seq与注意力机制
  • 斯坦福NLP名课带学详解 | CS224n 第9讲 - cs224n课程大项目实用技巧与经验
  • 斯坦福NLP名课带学详解 | CS224n 第10讲 - NLP中的问答系统
  • 斯坦福NLP名课带学详解 | CS224n 第11讲 - NLP中的卷积神经网络
  • 斯坦福NLP名课带学详解 | CS224n 第12讲 - 子词模型
  • 斯坦福NLP名课带学详解 | CS224n 第13讲 - 基于上下文的表征与NLP预训练模型
  • 斯坦福NLP名课带学详解 | CS224n 第14讲 - Transformers自注意力与生成模型
  • 斯坦福NLP名课带学详解 | CS224n 第15讲 - NLP文本生成任务
  • 斯坦福NLP名课带学详解 | CS224n 第16讲 - 指代消解问题与神经网络方法
  • 斯坦福NLP名课带学详解 | CS224n 第17讲 - 多任务学习(以问答系统为例)
  • 斯坦福NLP名课带学详解 | CS224n 第18讲 - 句法分析与树形递归神经网络
  • 斯坦福NLP名课带学详解 | CS224n 第19讲 - AI安全偏见与公平
  • 斯坦福NLP名课带学详解 | CS224n 第20讲 - NLP与深度学习的未来

ShowMeAI系列教程精选推荐

  • 大厂技术实现:推荐与广告计算解决方案
  • 大厂技术实现:计算机视觉解决方案
  • 大厂技术实现:自然语言处理行业解决方案
  • 图解Python编程:从入门到精通系列教程
  • 图解数据分析:从入门到精通系列教程
  • 图解AI数学基础:从入门到精通系列教程
  • 图解大数据技术:从入门到精通系列教程
  • 图解机器学习算法:从入门到精通系列教程
  • 机器学习实战:手把手教你玩转机器学习系列
  • 深度学习教程:吴恩达专项课程 · 全套笔记解读
  • 自然语言处理教程:斯坦福CS224n课程 · 课程带学与全套笔记解读
  • 深度学习与计算机视觉教程:斯坦福CS231n · 全套笔记解读

你可能感兴趣的:(自然语言处理教程,cs224n,自然语言处理,rnn,lstm,gru)