【神经网络】正向传播和反向传播(结合具体例子)

神经网络

例子神经网络结构如上，由三个层构成分别是输入层X，隐藏层H，输出层O。X到H层权值矩阵为$W_{5\ast 3}^{(1)}$，偏置矩阵为${\beta }_{5\ast 1}^{(1)}$，使用relu激活函数；H到O层权值矩阵为$W_{2\ast 5}^{(2)}$，偏置矩阵为${\beta }_{2\ast 1}^{(2)}$【这个矩阵形状非常重要，本文中对于出现的每个向量(或者矩阵)，都有下标表示它的形状，若为常量则直接表示，或者采用索引，如$w_{11}^{(1)}$为$W_{5\ast 3}^{(1)}$第一行第一列的元素，${\beta }_1^{(1)}$为${\beta }_{5\ast 1}^{(1)}$第一列的元素】，使用sigma激活函数。
损失函数采用交叉熵。
relu函数如下:
$$\begin{gathered} relu=max(x,0) \\ rel{u}^{\prime }=\{\begin{array}{lr}0,& x<0\\ a,& a\in [0,1]x=0\\ 1,& x>0\end{array} \end{gathered}$$
x = 0处虽然不可导，但是可采用亚导数${}^{[1]}$。
$$\begin{gathered} sigma=\frac{1}{1+e^{-x}} \\ sigm{a}^{\prime }=sigma\ast (1-sigma) \\ =\frac{e^{-x}}{(1+e^{-x}{)}^2} \end{gathered}$$
损失函数如下
$$loss=-\sum _{i=1}^2{y}_i\log (o_i)$$

前向传播

一上来写矩阵形式可能不太适合理解。我先针对单个神经元来写。

X->H

那么就是
$$\begin{gathered} h_1=relu(w_{11}^{(1)}{x}_1+w_{12}^{(1)}{x}_2+w_{13}^{(1)}{x}_3+{\beta }_1^{(1)}) \\ {h}_2=relu(w_{21}^{(1)}{x}_1+w_{22}^{(1)}{x}_2+w_{23}^{(1)}{x}_3+{\beta }_2^{(1)}) \\ ... \\ {h}_5=relu(w_{51}^{(1)}{x}_1+w_{52}^{(1)}{x}_2+w_{53}^{(1)}{x}_3+{\beta }_5^{(1)}) \end{gathered}$$
此时再将其转为矩阵形式
$$H_{5\ast 1}=relu(W_{5\ast 3}^{(1)}{X}_{3\ast 1}+{\beta }_{5\ast 1}^{(1)})$$

H->O

同上可得
$$\begin{gathered} o_1=sigma(w_{11}^{(2)}{h}_1+w_{12}^{(2)}{h}_2+w_{13}^{(2)}{h}_3+w_{14}^{(2)}{h}_4+w_{15}^{(2)}{h}_5+{\beta }_1^{(2)})【式一】 \\ {o}_2=sigma(w_{21}^{(2)}{h}_1+w_{22}^{(2)}{h}_2+w_{23}^{(2)}{h}_3+w_{24}^{(2)}{h}_4+w_{25}^{(2)}{h}_5+{\beta }_2^{(2)}) \end{gathered}$$
矩阵形式如下
$$O_{2\ast 1}=sigma(W_{2\ast 5}^{(2)}{H}_{5\ast 1}+{\beta }_{2\ast 1}^{(2)})$$
从输入层X即可得到模型输出O。前向传播结束。

反向传播

此时计算损失函数
$$loss=-\sum _{i=1}^2{y}_i\log (o_i)$$
然后，再根据损失函数反向传递回去，这个过程曾经困扰了我很长时间，到底是怎样传播的呢？
这里其实是根据了数学求导的一个链式法则。
$$\frac{\partial y}{\partial x}=\frac{\partial y}{\partial t}\ast \frac{\partial t}{\partial x}$$
然后根据这个法则，一步步从损失函数到输入层。
这个时候还要拿出一件法器——计算图，有了这个便可清楚明白的进行反向传播了，和上面的图略有不同（反向的）。

反向传播的实质是计算各个参数对loss的梯度，然后根据梯度进行更新参数的过程。在我们的模型中，参数为$W_{5\ast 3}^{(1)}$、${\beta }_{5\ast 1}^{(1)}$、$W_{2\ast 5}^{(2)}$、${\beta }_{2\ast 1}^{(2)}$。

首先第一步，可以根据之前损失函数公式计算出$\frac{\partial loss}{\partial o_1}=-y_1/o_1$、$\frac{\partial loss}{\partial o_2}=-y_2/o_2$，并保存下来，y为标签已知，o在正向传播的时候已经被计算出来了，若求导公式右部出现w，$\beta$等，则为上一步的w，$\beta$。

然后再向后传递。$\frac{\partial loss}{\partial {\beta }_1^{(2)}}=\frac{\partial loss}{\partial o_1}\ast \frac{\partial o_1}{\partial {\beta }_1^{(2)}}=已知量\ast \frac{\partial o_1}{\partial {\beta }_1^{(2)}}$，o对$\beta$的导数可通过式一来求，同时也可计算出$\frac{\partial o_1}{\partial w_{11}^{(2)}}$（进而求得$\frac{\partial loss}{\partial w_{11}^{(2)}}$）、$\frac{\partial o_1}{\partial h_1}$(进而求得$\frac{\partial loss}{\partial h_1}$)。
同理，所有的导数都可以被求出来了。然后再进行梯度更新等等。

容易看出单层之间的运算是可以进行并行操作的，计算量约为正向传播的两倍正向只需计算h和o，反向传播需要计算h,o,w,$\beta$的导数。以上是针对batch_size = 1的情况，batch_size = m可类比推导。
此时损失函数变为
$$loss=-\frac{1}{m}\sum _{j=1}^m\sum _{i=1}^2{y}_i^j\log (o_i^j)$$
求导数也对应发生一些变化，如
$$\frac{\partial loss}{\partial {\beta }_1^{(2)}}=\frac{1}{m}\sum _{j=1}^m\frac{\partial loss}{\partial o_1^j}\ast \frac{\partial o_1^j}{\partial {\beta }_1^{(2)}}$$
即为对m个样本的导数求平均。
此时每个参数拿到导数就可以进行梯度更新啦，可采用简单点采用SDG随机梯度下降，对应batch_size = 1的情况；梯度下降batch_size = N(样本总数)；小批量梯度下降batch_size=m等。
也可采用高级一点的算法进行，比如Momentum、AdaGrad、RMSProp、AdaDelta、Adam算法等等。这里就不详细展开了。

【1】跟李沐学AI 动手学深度学习v2[1-10某一节吧]