《动手学深度学习》PyTorch 版本总结（1）

通过伯禹学习平台和Kesci平台，参与了一项14天学习《动手学深度学习》课程，这本书是由李沐等大神编写而成，并提供了配套的视频和源代码。这次活动主要是将里面的Mxnet 框架改成了PyTorch 框架实现了一遍，并由上海交大的老师们再次讲述了一遍。以下内容均是记录学习过程中的一些学习知识点。

Task 01

（1）线性回归

知识点1

在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。

知识点2

知识点3

知识点4

知识点5

(2) Softmax与分类模型

主要原理

(3) 多层感知机

激活函数的作用：

常用的激活函数：

ReLU
Tanh
Sigmoid

（4）文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

我们可以通过引入更复杂的规则来解决这些问题，但是事实上，有一些现有的工具可以很好地进行分词，
我们在这里简单介绍其中的两个：spaCy和NLTK。重点了解这两种分词。

（5）语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$的词的序列$w_1,w_2,\dots ,w_T$，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

$$P(w_1,w_2,\dots ,w_T).$$

本节我们介绍基于统计的语言模型，主要是$n$元语法（$n$-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。

随机采样 重点看图示

相邻采样

（6）循环神经网络基础