人工神经网络(ANN)

  人工神经网络是一个模型，配套的东西还有损失函数和优化方法，这样就构成了完整的统计学习方法三要素：模型、策略、学习。

  广义上，深度学习就是利用神经网络进行学习，但严格来说，非线性深层神经网络才是深度学习，由于线性神经网络无法进行异或运算，最近的研究又在不断延伸神经网络的深度和宽度，所以一般提及神经网络，说的都是非线性深层神经网络。

  Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的相似度比较等。

  Deep Learning算法能够有效的关键其实是大规模的数据，这一点原因在于每个DL都有众多的参数，少量数据无法将参数训练充分。

1. 常见的神经网络

  常见的神经网络有：全连接神经网络(FCNN)、卷积神经网络(CNN)及其分支(ResNet、DenseNet等)、循环神经网络(RNN)及其分支(LSTM等)、径向基神经网络(RBF)、自动编码器(Auto Encoder)、受限玻尔兹曼机(RBM)等等。

---

2. 全连接神经网络

  全连接神经网络是最简单、最基础的神经网络，本blog主要讲述全连接神经网络，全连接神经网络的后一层神经元，一定和前一层的所有神经元都有连接，数据流向是从前一层神经元流向后一层，全连接神经网络是一个前馈神经网络，没有闭环或回路。

2.1. 神经元

  1943年，McCulloch和Pitts将生物的神经元结构用一种简单的模型进行了表示，构成了一种人工神经元模型，也就是我们现在经常用到的“M-P神经元模型”，全连接神经元利用的就是这种MP神经元，在其他神经网络中，神经元的结构会略有不同，MP神经元结构如下：

  MP神经元结构可以简化成下式：$$y_j=f(\sum _{i=1}^n{x}_i{w}_{ij}+x_0{w}_{0j})=f(\sum _{i=1}^n{x}_i{w}_{ij}-\theta )$$

  其中$\{x_1\dots x_n\}$是神经元的输入；$\{w_{1j}\dots w_{nj}\}$是输入对应的权重，$\theta$是偏置，$w$与$\theta$是神经网络重点学习的参数对象；$f(\cdot )$是激活函数，激活函数会在后面单独的说， 经过激活函数的值，又称为激活值。

---

2.2. 激活函数

  MP神经元中，($\sum _{i=1}^n{x}_i{w}_{ij}-\theta$)部分是完全的线性运算，要想实现非线性，必须借助非线性的激活函数，激活函数也是整个神经网络的非线性特性的重要来源。
  sigmoid函数系有两个激活函数logistic-sigmoid与tanh-sigmoid，常用的激活函数还有ReLU激活函数(Rectified Linear Unit，线性整流函数)和softplus激活函数，ReLU激活函数更贴近生物神经元的工作方式。下面给出logistic-sigmoid与tanh的函数曲线：

下面给出softplus与ReLU的函数曲线

真实的人脑神经元激活曲线是这样的

真实的人脑神经元激活曲线有一个很明显的激活阈值，而且是稀疏激活(大脑同时被激活的神经元只有1%~4%)。可见sigmoid函数系完全不像人脑，softplus函数的激活阈值并不明显，ReLU最像人脑的真实神经元激活曲线。

---

2.3. 参数初始化

  由上面的分析，我们知道全连接神经网络的要训练的参数，主要有权值$w$和偏置$b$，在真正开始学习前，我们要先对参数进行初始化。

  常用的初始化方法，是把这些参数按照高斯分布$N(0,{\sigma }^2)$进行初始化，其中$\sigma$是一个很小的值，为何要引入随机性，主要是为了打破对称性，如果层与层之间的权值和偏置是一样的，那么每一层的神经元的输出结果全是一样的，神经网络的学习能力就会受限，这显然不是我们想要的结果。

2.4. 前行传播(Forward propagation,FP)计算结果

  由多个MP神经元，就构成了全连接神经网络的一层，多个层组合成全连接神经网络，下面列出了一个简单的，只有一个隐层的全连接神经网络：

这是一个前馈神经网络的例子，因为这种联接图没有闭环或回路。用矩阵表示隐藏层的输出是
$$\begin{array}{rl}\left[a_1^{(2)},a_2^{(2)},a_3^{(2)}\right]& =\left[f(z_1^{(2)}),f(z_2^{(2)}),f(z_3^{(2)})\right]\\ z_1^{(2)}=& \left[x_1,x_2,x_3\right]\left[\begin{array}{c}{w}_{11}^{(2)}\\ w_{12}^{(2)}\\ w_{13}^{(2)}\end{array}\right]+b_1^{(2)}\\ z_2^{(2)}=& \left[x_1,x_2,x_3\right]\left[\begin{array}{c}{w}_{21}^{(2)}\\ w_{22}^{(2)}\\ w_{23}^{(2)}\end{array}\right]+b_2^{(2)}\\ z_3^{(2)}=& \left[x_1,x_2,x_3\right]\left[\begin{array}{c}{w}_{31}^{(2)}\\ w_{32}^{(2)}\\ w_{33}^{(2)}\end{array}\right]+b_3^{(2)}\end{array}$$

值得注意的一点是，这里$w_{ij}^{(m)}$表示第$m-1$层的$j$单元到$m$层的$i$单元的权值(-1的操作)，在不同的博客中，$w_{ij}^{(m)}$右上角的$m$值可能会表示$m$层与$m+1$层的链接权值(+1的操作)，当然$ij$的含义可能也有不同，$i$可能表示前一层的神经元，所以在看别人blog时一定要注意这一点。这篇blog中，$w_{ij}^{(m)}$表示第$m-1$层的$j$单元到$m$层的$i$单元的权值。同时，用矩阵表示输出层的输出就是
$$\begin{array}{rl}\left[a_1^{(3)},a_2^{(3)}\right]& =\left[f(z_1^{(3)}),f(z_2^{(3)})\right]\\ z_1^{(3)}=& \left[a_1^{(2)},a_2^{(2)},a_3^{(2)}\right]\left[\begin{array}{c}{w}_{11}^{(3)}\\ w_{12}^{(3)}\\ w_{13}^{(3)}\end{array}\right]+b_1^{(3)}\\ z_2^{(3)}=& \left[a_1^{(2)},a_2^{(2)},a_3^{(2)}\right]\left[\begin{array}{c}{w}_{21}^{(3)}\\ w_{22}^{(3)}\\ w_{23}^{(3)}\end{array}\right]+b_2^{(3)}\end{array}$$

  这样从输入，一层一层计算各隐藏层的值，最后求得输出值的过程，就是全连接神经网络前向传播的过程，前向传播会得到神经网络的输出结果。

---

2.5. 反向传播(Back propagation,BP)更新权值

  所谓传播，一定是一层一层传播，一层一层计算，这点在前向传播中也有体现，所以BP算法需要找到层与层之间的迭代关系。对于前向传播得到的结果，我们会与真实值进行比较，这里利用最简单的平方损失函数为例，$$J(h(x,w,b),y)=\frac{1}{2}||h(x,w,b)-y|{|}^2=\sum _{i=1}^{S_n}\frac{1}{2}(h(x_i,w,b)-y_i{)}^2$$

，$h(x,w,b)$是神经网络对输入$x$的输出，$y$是期望输出，$w$是神经网络的权值，$b$是神经网络的偏置，$S_n$是输出层的神经元个数，也就是一共有$S_n$个输出。同时为了增加其鲁棒性，加入了规则化项。$$J(h(x,w,b),y)=\frac{1}{2}||h(x,w,b)-y|{|}^2+\frac{\lambda }{2}\sum _{l=1}^n\sum _{i=1}^{S_l}\sum _{j=1}^{S_{l-1}}(w_{ij}^{(l)}{)}^2$$

其中，$\lambda$是超参数，用于控制规则化项对损失的影响，$n$是神经网络的隐藏层和输出层的总计层数，$S_l$与$S_{l-1}$是第$l$层与$l-1$层的神经元数，在规则化项中不包含偏置$b$，根据blog说明，一般来说，将偏置项包含在规则化项(权重衰减项)中只会对最终的神经网络产生很小的影响。优化方法利用批量随机梯度下降法(Mini-batch SGD)，一批有m个数据，则对权值$w$和偏置$b$的更新如下：$$\begin{gathered} w_{ij}^{(l)}=w_{ij}^{(l)}+\alpha [\frac{1}{m}(\sum _{t=1}^m\frac{\partial J(h(x_t,w,b),y_t)}{\partial w_{ij}^{(l)}})] \\ {b}_i^{(l)}=b_i^{(l)}+\alpha [\frac{1}{m}(\sum _{t=1}^m\frac{\partial J(h(x_t,w,b),y_t)}{\partial b_i^{(l)}})] \end{gathered}$$

其中，$\alpha$是学习步长(学习率)，属于超参数，所以关键就是求$\frac{\partial J(h(x_t,w,b),y_t)}{\partial w_{ij}^{(l)}}$与$\frac{\partial J(h(x_t,w,b),y_t)}{\partial b_i^{(l)}}$。为了进一步求解这两个导数式子，就是反向传播算法的精髓了，需要灵活的运用复合函数的链式求导法则以及多元复合函数的链式求导法则。注意下面的推导，$x_t$的$t$省略，即我们不考虑输入输出是batch中的第几个。

  损失函数对权值的偏导数变换如下：$$\begin{array}{rl}\frac{\partial J(h(x,w,b),y_t)}{\partial w_{ij}^{(l)}}& =\frac{\partial J(h(x,w,b),y_t)}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{\partial w_{ij}^{(l)}}\end{array}$$

令残差${\delta }_i^{(l)}$为$$\begin{array}{r}{\delta }_i^{(l)}=\frac{\partial J(h(x,w,b),y_t)}{\partial z_i^{(l)}}\end{array}$$

同时根据前向传播$$\begin{array}{r}{z}_i^{(l)}=\sum _{m=1}^{S_{l-1}}(a_m^{(l-1)}{w}_{im}^{(l)})+b_i^{(l)}=\sum _{m=1}^{S_{l-1}}(f(z_m^{(l-1)})w_{im}^{(l)})+b_i^{(l)}\end{array}$$

则权值的偏导数可以进一步变换为$$\begin{array}{rl}\frac{\partial J(h(x,w,b),y_t)}{\partial w_{ij}^{(l)}}& =\frac{\partial J(h(x,w,b),y_t)}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{\partial w_{ij}^{(l)}}\\ & ={\delta }_i^{(l)}\frac{\partial (\sum _{m=1}^{S_{l-1}}(f(z_m^{(l-1)})w_{im}^{(l)})+b_i^{(l)})}{\partial w_{ij}^{(l)}}\\ & ={\delta }_i^{(l)}f(z_j^{(l-1)})\\ & ={\delta }_i^{(l)}{a}_j^{(l-1)}\end{array}\text{\hspace{1em}(1)}$$

其中$a_j^{(l-1)}$是在前向传播中，$l-1$层第$j$个神经元的激活值，属于已知值。

误差函数对偏置的偏导数可以进一步变化为$$\begin{array}{rl}\frac{\partial J(h(x,w,b),y_t)}{\partial b_i^{(l)}}& =\frac{\partial J(h(x,w,b),y_t)}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{\partial b_i^{(l)}}\\ & ={\delta }_i^{(l)}\frac{\partial (\sum _{m=1}^{S_{l-1}}(f(z_m^{(l-1)})w_{im}^{(l)})+b_i^{(l)})}{\partial b_i^{(l)}}\\ & ={\delta }_i^{(l)}\end{array}\text{\hspace{1em}(2)}$$

根据(1)(2)两个式子，我们可以看出来，如果${\delta }_i^{(l)}$已知，那么根据(1)(2)两式，可以求出损失函数在所有权值和偏置处的偏导数，就可以利用Mini-batch SGD的公式更新权值和偏置。已知$$\begin{array}{r}{\delta }_i^{(l)}=\frac{\partial J(h(x_t,w,b),y_t)}{\partial z_i^{(l)}}\end{array}$$

则当$l=n$，即最后一层第$i$个神经元的残差${\delta }_i^{(n)}$为：$$\begin{array}{rl}{\delta }_i^{(n)}& =\frac{\partial J(h(x_{,}w,b),y_t)}{\partial z_i^{(n)}}\\ & =\frac{\partial \frac{1}{2}\sum _{j=1}^{S_n}(f(z_j^{(n)})-y_j{)}^2}{\partial z_i^{(n)}}\\ & =(f(z_i^{(n)})-y_i)f^{\prime }(z_i^{(n)})\end{array}\text{\hspace{1em}(3)}$$

$f(z_i^{(n)})、y_i、f^{\prime }(z_i^{(n)})$均是已知的，所以${\delta }_i^{(n)}$已知，下面利用类似数学归纳法的思想，推导${\delta }^{(l)}$与${\delta }^{(l+1)}$的关系。我们假设${\delta }_i^{(l+1)},i=1,2\dots S_{l+1}$已知，则$$\begin{array}{rl}{\delta }_i^{(l)}& =\frac{\partial J(h(x,w,b),y)}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{S_{l+1}}\frac{\partial J(h(x,w,b),y)}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\end{array}$$

这里利用了多元函数的链式求导法则，可以把损失函数看成$z_j^{(l+1)}$的函数，$J=g(z_1^{(l+1)},z_2^{(l+1)}\dots z_{S_{l+1}}^{(l+1)})$，所有的$z_j^{(l+1)}$都包含因变量$z_i^{(l)}$。如果不是全连接，这里就是$l$层第$i$个神经元与$l+1$层的神经元有多少链接，就有多少项。所以$$\begin{array}{rl}{\delta }_i^{(l)}& =\sum _{j=1}^{S_{l+1}}\frac{\partial J(h(x,w,b),y)}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{S_{l+1}}{\delta }_j^{(l+1)}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{S_{l+1}}{\delta }_j^{(l+1)}\frac{\partial (\sum _{m=1}^{S_l}(f(z_m^{(l)})w_{jm}^{(l+1)})+b_j^{(l+1)})}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{S_{l+1}}{\delta }_j^{(l+1)}{f}^{\prime }(z_i^{(l)})w_{ji}^{(l+1)}\end{array}\text{\hspace{1em}(4)}$$

所以根据${\delta }^{(l+1)}$，可以求出${\delta }_i^{(l)}$，又最开始的${\delta }_i^{(n)}$可以求出，所以所有的残差$\delta$均可以求出来。进而公式(1)(2)可以求出对权值和偏置的偏导数，进而由mini_batch SGD可以更新权值和偏置。

  公式(4)是整个BP算法的核心公式。由于公式(4)的迭代特性，BP算法叫做反向“传播”算法。

2.6. 全连接神经网络的一次batch训练过程

1. 对batch中的m条数据，分别通过前向传播计算其输出、各层经过激活函数前的z值以及经过激活函数后的激活值；
2. 对batch中的m条数据，分别根据公式(3)(4)计算残差$\delta$；
3. 对batch中的m条数据，分别根据公式(1)(2)计算权值和偏置的偏导数；
4. 利用mini-batch SGD的更新公式，更新权值和偏置。

---

3. 损失函数

  可供选择的损失函数有很多种，对于分类问题，常用交叉熵(CrossEntropy)作为损失函数;$$H(A,B)=\sum _{i=1}-p_A(x_i)log(p_B(x_i))$$

对于回归问题，常用均方误差(mean squared error，MSE)作为损失函数$$MSE=\frac{\sum _{i=1}^n(h(x_i)-y_i{)}^2}{2n}$$

3.1. 交叉熵作为损失函数

  我按照知乎讨论以及一篇Blog中，关于交叉熵的讨论来解释交叉熵作为损失函数的合理性，先介绍熵，然后介绍KL散度，最后推出交叉熵在满足一定条件下可以替代KL散度。

  我们先探讨熵的意义，总所周知的是，熵可以表示信息的不确定性，也可以表示信息的信息量，熵越大，信息的不确定性越大，所含信息量也越多。以通信领域为例，信源A在下一时刻可以在一个符号集中选择任何一个来传输，该符号集表示为$\{x_1,x_2,x_3\dots \}$，传输的可能性分别是$\{p(X=x_1),p(X=x_2),p(X=x_3)\dots \}$，其中$X$是信源A在下一时刻所传符号的随机变量。我们想设计一个指标来衡量这种不确定性或者信息量的多少，这个指标是关于概率$p$的函数，我们用$f(p)$表示这个指标，同时这个指标应该满足下面的性质：

1.负相关：与概率$p$的变化方向相反，即概率$p$越高，$f(p)$越低，当$p(X=x_i)=1$，则要求$f(p(X=x_i))=0$，即下一时刻传输的符号一定是$x_i$，已经完全确定，所以不确定性为0，信息量也为0；

2.可加性：同时这个指标具有可加性，假设还存在另一个信源B，下一时刻所传符号的随机变量为$Y$，$X,Y$相互独立，则$f(p(X=a)p(Y=b))=f(p(X=a))+f(p(Y=b))$。

结合上面两个性质，我们不难找到$f(p)=-log(p)$来表示这一指标，即对于信源A，我们定义单个符号$x_i$的不确定性或信息量为$f(p(X=x_i))=-log(p(X=x_i))$，该式理解为符号的概率越大，下一时刻传这个符号的概率也越大，即下一时刻传这个符号的不确定性就小，真传了这个符号，我们也不惊讶，所以其信息量也小。那么整个信源的不确定性或信息量就可以定义成单个符号不确定性或信息量的期望，即$$H(X)=\sum _{i=1}-p(X=x_i)log(p(X=x_i))$$

值得一体的是，熵一般衡量离散信源，对于连续信源的情况，不确定性或信息量无限大。

  接着我们看KL散度，KL散度用于衡量两个随机变量概率分布的差异，如果两个分布完全一样，例如均是$N(0,1)$的高斯分布，其KL散度值应是0，所以KL散度可以作为损失函数，比较模型输出与真实值的分布差异。对于离散随机变量A，B，KL散度定义如下$$\begin{array}{rl}{D}_{KL}(A||B)& =\sum _{i=1}{p}_A(x_i)log(\frac{p_A(x_i)}{p_B(x_i)})\\ & =-\sum _{i=1}-p_A(x_i)log(p_A(x_i))+\sum _{i=1}-p_A(x_i)log(p_B(x_i))\end{array}$$

KL散度不满足交换律，即$D_{KL}(A||B)̸=D_{KL}(B||A)$。同时，不难看出KL散度有两部分构成，第一部分就是A的熵，第二部分就是交叉熵，所以KL散度可以写成下式$$D_{KL}(A||B)=H(A,B)-H(A)$$

当$H(A)$是一个常数时，KL散度和交叉熵的度量特性一致，而在机器学习中，H(A)一般是训练集的分布，也确实是一个常数值。由于交叉熵更简单，所以我们用交叉熵替代KL散度用于损失函数。

  连续分布的KL散度定义如下$$\begin{array}{rl}{D}_{KL}(A||B)& =\int p_A(x)log(\frac{p_A(x)}{p_B(x)})dx\end{array}$$其余分析类似

  这里用概率分布说明一下真实分布$P(real)$，训练集分布$P(training)$和模型的输出分布$P(model)$的关系，由于我们一般很难知道真实分布，所以会用训练集的分布来近似当做真实分布，即$P(real)\simeq P(training)$，我们训练的目的，也是让模型的输出分布接近训练集分布，即$P(model)\simeq P(training)$，所以我们通过这种传递建立了模型输出分布与真实分布的脆弱关系$$P(real)\simeq P(training)\simeq P(model)$$为何是脆弱关系？因为model既不能十分接近训练集的分布(过拟合)，也不能十分不符合训练集的分布(学习失败)。

  值得一提的是，说是概率分布，训练集的概率分布要更加的极端，例如在分类问题中，输入是$\{x_1,x_2\dots \}$，一共3个类别，神经网络输出层也有3个输出，对应这3个类别。如果在训练集中，输入是$\{x_1,x_2\dots \}$的类别是$y_2$，则训练集概率分布是$$\begin{gathered} P_{training}(x_1,x_2\dots ;y_1=1,y_2=0,y_3=0)=0 \\ {P}_{training}(x_1,x_2\dots ;y_1=0,y_2=1,y_3=0)=1 \\ {P}_{training}(x_1,x_2\dots ;y_1=0,y_2=0,y_3=2)=0 \end{gathered}$$

也就是在训练集中是就是是，不是就是不是。而神经网络学习的就是这样的分布，即对于同样的输入，输出的$P_{model}(x_1,x_2\dots ;y_1=0,y_2=1,y_3=0)$要尽可能的大(接近1)，其余类别的输出尽可能小(接近0)。

---

4. 优化方法

  优化方法有很多，最基本的要属BGD，BGD在机器学习中也很常见，在其基础上提出了SGD以及使用更广泛的进化版本mini-batch SGD，mini-batch SGD的方法在上面计算反向传播时有用到，大体就是先对数据进行shuffle，然后分成M批数据，每一批有m个数据，以批为单位进行训练(本blog的2.6中的步骤)，当把这M批数据全部训练一遍，就算一次epoch。GD的基本思想是更新下面的式子。$$\theta =\theta -\alpha \frac{\partial J}{\partial \theta }$$其中$\alpha$是学习率(步长)。

  但mini-batch SGD速度还是偏慢，因此提出了改进方法Momentum和Adagrad，综合Momentum和Adagrad的优点，又提出了RMSProp和Adam，大多数时候，使用Adam可以又快又好的收敛。除此之外，还有adadelta、NAG等方法。

---

5. 过拟合的应对

5.1. 增加数据量

  增加数据量，也就是说我们让$P(training)$无限接近于$P(real)$，这样我们的模型在逼近训练集时，同时也更加的逼近真实情况了。

5.2. 规则化项(正则化项)

  像传统机器学习方法一样，对损失函数加上一个规则化项，上面在推导反向传播算法时，也考虑了这样的操作。
  常见的正则化方法有L1,L2正则化法。

5.3. dropout操作

  在一次训练前，我们随机忽略一些神经元及其链接，用剩下的神经网络进行学习。在下次训练前，把上一次忽略的神经元及其链接补回，再随机忽略一些神经元及其链接，再用剩下的神经网络进行学习，这样来回迭代。通过这种方法，训练的神经网络不会过分依赖神经网络中的某些特定部分，也就是说，训练好的神经网络中，不会存在某些部分的权值或者偏置很大。
  最终输出的模型，一定要是最完整的神经网络。

5.4. 提前终止

  通过观察验证集，当验证集的误差呈现增大趋势，我们就提前终止模型的训练。

5.5. 批标准化

  另一篇blog专门去说。

6. 梯度消失与梯度爆炸

  在BP算法中，根据公式(3)(4)，我们知道偏导数中存在激活函数$f(\cdot )$的导数以及权值$w$，如果激活函数是logistic-sigmoid或者tanh函数，它们的导数值域均在[0,1]之间，所以随着层数的增多，反向传播会持续缩小残差$\delta$的值，造成远离输出层的权值与偏差的梯度不断的缩小(根据公式(1)(2))，从深层网络角度来讲，不同的层学习的速度差异很大，表现为网络中靠近输出的层学习的情况很好，靠近输入的层学习的很慢，有时甚至训练了很久，前几层的权值和刚开始随机初始化的值差不多，导致靠近输入层的隐层相当于只是映射层，对所有的输入做了一个函数映射，这时此深度神经网络的学习就等价于只有靠近输出层的隐藏层网络在学习，这就是梯度消失现象。同理，如果初始化的权值$w$很大，造成反向传播过程中$l$层残差$\delta$一定大于$l+1$层，这种大于会以指数增长的形式累计下去，就造成了梯度爆炸，靠近神经网络输入层的权值或偏置的偏导数巨大，更新速度过快。相对来说梯度消失现象更容易出现。

  造成梯度消失或爆炸的根源是反向传播机制(成也反向传播！败也反向传播？)，直接原因是激活函数的不合适以及较深的网络结构。

  最简单的梯度消失问题解决方法就是使用导数值域较宽的激活函数，例如ReLU函数、softplus函数等。当然还有一种有效的解决梯度消失问题的方法，就是批标准化。

---

参考文献：
《TensorFlow 实战Google深度学习框架》
神经网络的类别：https://baijiahao.baidu.com/s?id=1590362274035183205&wfr=spider&for=pc
M-P神经元模型： https://www.cnblogs.com/xueqiuqiu/articles/7606293.html
激活函数：https://www.jianshu.com/p/68d44a4295d1
反向传播：https://blog.csdn.net/qq_29762941/article/details/80343185
反向传播：https://blog.csdn.net/qq_32865355/article/details/80260212
GD优化方法：https://www.cnblogs.com/wujingqiao/p/9559969.html
交叉熵：https://www.zhihu.com/question/65288314
交叉熵：https://blog.csdn.net/tsyccnh/article/details/79163834
过拟合：https://www.cnblogs.com/bonelee/p/8993812.html
梯度消失、爆炸：https://blog.csdn.net/qq_25737169/article/details/78847691
梯度消失、爆炸：https://www.cnblogs.com/pinking/p/9418280.html