LeNet-5 CNN 反向传播过程(back propagation)推导

LeNet-5 CNN 反向传播过程(back propagation)推导

by ztx

说明

本篇博客是学习过程中的笔记，谨慎阅读，欢迎指正。
时间仓促，LeNet-5的具体结构可能会有偏差，具体以论文为准，留坑待填。
另外，csdn的latex公式挂掉了，不知道怎么回事，以代码形式给出式子。
KaTex 多行公式只支持aligned，不支持align = =

前置技能

感知器，数学技巧，脑补能力

MLP-NN BP

MLP-NN(Multilayer perceptron neural network 多层感知器神经网络)

结构

上面是自己画的一张图。

正向传播

过程如上图中左边箭头指示的过程。
$$y_k=f\left(\sum _{j=0}^{H}f\left(\sum _{i=0}^D{x}_i{W}_{ji}\right)W_{kj}\right)$$

反向传播

Loss function:L2 distance
$$E(\mathbf{W})=\frac{1}{2}\sum _{k=0}^{c-1}(t_k-y_k{)}^2=\frac{1}{2}||\mathbf{t}-\mathbf{y}|{|}^2$$

Activation function:sigmoid

$$f(x)=\frac{1}{1+e^{-x}}$$

Sigmoid Derivative function:

$$f^{\prime }(x)=f(x)(1-f(x))$$

隐藏层到输出层的BP如下

$$\begin{array}{rl}\frac{\partial E}{\partial W_{kj}}& =\frac{\partial E}{\partial y_k}\frac{\partial y_k}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial W_{kj}}\\ & =-(t_k-y_k)f^{\prime }(ne{t}_k)y_j\\ & ={\delta }_k{y}_j\end{array}$$

其中：

$${\delta }_k=-(t_k-y_k)f^{\prime }(ne{t}_k)=\frac{\partial E}{\partial ne{t}_k}$$

设学习率为$\eta$则梯度下降权值更新为：

$\Delta W_{kj}=\eta {\delta }_k{y}_j$

输入层到隐藏层的BP如下

$$\begin{array}{rl}\frac{\partial E}{\partial W_{ji}}& =\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial ne{t}_j}\frac{\partial ne{t}_j}{\partial W_{ji}}\\ & =\frac{\partial }{\partial y_j}\left(\frac{1}{2}\sum _{k=0}^{c-1}(t_k-y_k{)}^2\right)f^{\prime }(ne{t}_j)x_i\\ & =\left(-\sum _{k=0}^{c-1}(t_k-y_k)\frac{\partial y_k}{\partial y_j}\right)f^{\prime }(ne{t}_j)x_i\\ & =\left(-\sum _{k=0}^{c-1}(t_k-y_k)\frac{\partial y_k}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial y_j}\right)f^{\prime }(ne{t}_j)x_i\\ & =\left(-\sum _{k=0}^{c-1}(t_k-y_k)f^{\prime }(ne{t}_k)W_{kj}\right)f^{\prime }(ne{t}_j)x_i\\ & =\left(\sum _{k=0}^{c-1}{\delta }_k{W}_{kj}\right)f^{\prime }(ne{t}_j)x_i\\ & ={\delta }_j{x}_i\end{array}$$
其中：
$${\delta }_j=\left(\sum _{k=0}^{c-1}{\delta }_k{W}_{kj}\right)f^{\prime }(ne{t}_j)=\frac{\partial E}{\partial ne{t}_j}$$
设学习率为$\eta$则梯度下降权值更新为：

$\Delta W_{ji}=\eta {\delta }_j{x}_i$

LeNet-5 CNN

结构

C1:

5*5的卷积核6个

S2:

类似于平均池化，sigmoid激活

C3:

5*5的卷积核16个

S4:

类似于平均池化，sigmoid激活

C5:

5*5的卷积核120个

F6:

120*84的全连接，加84的偏置，tanh激活

OUTPUT:

84*10的径向基函数

传播过程推导

首先定义$l$层

$net$值为$x^l$

输出为$y^l=f(x^l)$

${\delta }^l=\frac{\partial E}{\partial x^l}$

激活函数为$f^l(\cdot )$

输入为上一层的输出$x^{l-1}$

当前层的参数为$W^l$,$bia{s}^l$等

F6>>>OUTPUT

正向传播过程($l-1$为F6，$l$为OUTPUT，$l+1$为loss)

LeNet5的OUTPUT使用的径向基（RBF）函数
$$\begin{gathered} x_j^l=\sum _{i=0}^{83}(y_i^{l-1}-W_{i,j}^l{)}^2 \\ {y}_j^l=f^l(x_j^l)=x_j^l \end{gathered}$$

反向传播

论文中这里的$W$参数是似乎是固定的？暂时不懂。如果训练的话如下

$$\begin{array}{rl}{\delta }_i^l& =\frac{\partial E}{\partial x_i^l}\\ & =\frac{\partial E}{\partial y_i^l}\frac{\partial y_i^l}{\partial x_i^l}\\ & =\frac{\partial E}{\partial y_i^l}{f^l}^{\prime }(x_i^l)\\ & =\frac{\partial E}{\partial y_i^l}\end{array}$$

$\frac{\partial E}{\partial y_i^l}$需要在loss层给出

$$\begin{array}{rl}\frac{\partial E}{\partial W_{i,j}^l}& =\frac{\partial E}{\partial x_j^l}\frac{\partial x_j^l}{\partial W_{i,j}^l}\\ & ={\delta }_j^l\cdot 2(W_{i,j}^l-y_i^{l-1})\end{array}$$

$$\begin{array}{rl}\frac{\partial E}{\partial y_i^{l-1}}& =\sum _{j=0}^{83}\frac{\partial E}{\partial x_j^l}\frac{\partial x_j^l}{\partial y_i^{l-1}}\\ & =\sum _{j=0}^{83}\frac{\partial E}{\partial x_j^l}\cdot 2(y_i^{l-1}-W_{i,j}^l)\\ & =\sum _{j=0}^{83}{\delta }_j^l\cdot 2(y_i^{l-1}-W_{i,j}^l)\end{array}$$

C5>>>F6

120*84的全连接，加84的偏置，与MLP-NN过程相同，激活函数使用了$y=f(x)=A\tanh (Sx)$，$A$取$1.7159$

S4>>>C5

C5是一个卷积层。

现在不管形状，讨论卷积的反向传播。

设原图像大小为$(N,N)$其中每个像素点都可能是一个值或者向量或者多维的数据。

使用大小为$(m,m)$的卷积核$K$个，每个卷积核参数为$W_{a,b}^{lk},0\le k<K,0\le a,b<m$，每一个卷积核都有一个偏置$bia{s}^{lk},0\le k<K$。$W$中的每一个数值的维度都与原图$(N,N)$中像素的维度相同，$K$个卷积核之后会形成新的图像，像素点变为$K$维。

正向传播：
$$\begin{gathered} x_{i,j}^{lk}=\sum _{a=0}^{m-1}\sum _{b=0}^{m-1}{W}_{a,b}^{lk}{y}_{i+a,j+b}^{l-1}+bia{s}^{lk},0\le k<K \\ {y}_{i,j}^{lk}=f^l(x_{i,j}^{lk})=x_{i,j}^{lk} \end{gathered}$$
LeNet5只有F6层和池化层有激活函数，卷积层没有激活函数。

由于不同卷积核进行的过程是相同的，之后省略$x^{lk},W^{lk}$等中的$k$。

现在已知$\frac{\partial E}{\partial y_i^l}$由上一层给出，求$\frac{\partial E}{\partial W_{a,b}^l}$

首先，求出当前层的${\delta }^l$

$$\begin{array}{rl}{\delta }_{i,j}^l& =\frac{\partial E}{\partial x_{i,j}^l}\\ & =\frac{\partial E}{\partial y_{i,j}^l}\frac{\partial y_{i,j}^l}{\partial x_{i,j}^l}\\ & =\frac{\partial E}{\partial y_{i,j}^l}{f^l}^{\prime }(x_{i,j}^l)\\ & =\frac{\partial E}{\partial y_{i,j}^l}\end{array}$$

参数权重变化

$$\begin{array}{rl}\frac{\partial E}{\partial W_{a,b}^l}& =\sum _{i=0}^{N-m}\sum _{j=0}^{N-m}\frac{\partial E}{\partial x_{i,j}^l}\frac{\partial x_{i,j}^l}{\partial W_{a,b}^l}\\ & =\sum _{i=0}^{N-m}\sum _{j=0}^{N-m}{\delta }_{i,j}^l{y}_{i+a,j+b}^{l-1}\end{array}$$

$$\begin{array}{rl}\frac{\partial E}{\partial bia{s}^l}& =\sum _{i=0}^{N-m}\sum _{j=0}^{N-m}\frac{\partial E}{\partial x_{i,j}^l}\frac{\partial x_{i,j}^l}{\partial bia{s}^l}\\ & =\sum _{i=0}^{N-m}\sum _{j=0}^{N-m}{\delta }_{i,j}^l\end{array}$$

计算下一层的$\frac{\partial E}{\partial y_{i,j}^{l-1}}$

$$\begin{array}{rl}\frac{\partial E}{\partial y_{i,j}^{l-1}}& =\sum _{a=0}^{m-1}\sum _{b=0}^{m-1}\frac{\partial E}{\partial x_{i-a,j-b}^l}\frac{\partial x_{i-a,j-b}^l}{\partial y_{i,j}^{l-1}}\\ & =\sum _{a=0}^{m-1}\sum _{b=0}^{m-1}{\delta }_{i-a,j-b}^l{W}_{a,b}^l\end{array}$$

这样这一层的推导已经做完了。

再讨论卷积层之间$\delta$的关系。

若已知$l$层卷积层的${\delta }^l$，如果$l-1$层也是卷积层求$l-1$层的${\delta }^{l-1}$

$$\begin{array}{rl}{\delta }_{i,j}^{l-1}& =\frac{\partial E}{\partial x_{i,j}^{l-1}}\\ & =\frac{\partial E}{\partial y_{i,j}^{l-1}}\frac{\partial y_{i,j}^{l-1}}{\partial x_{i,j}^{l-1}}\\ & =\left(\sum _{a=0}^{m-1}\sum _{b=0}^{m-1}{\delta }_{i-a,j-b}^l{W}_{a,b}^l\right){f^{l-1}}^{\prime }(x_{i,j}^{l-1})\\ & ={f^{l-1}}^{\prime }(x_{i,j}^{l-1})\cdot \sum _{a=0}^{m-1}\sum _{b=0}^{m-1}{\delta }_{i-a,j-b}^l{W}_{a,b}^l\end{array}$$

这里${\delta }^{l-1}$相当于使用旋转180度的$W^l$在${\delta }^l$上进行卷积，定义旋转180度后的$W$为$rot180(W)$，则：
$${\delta }^{l-1}={f^l}^{\prime }(x^{l-1})\cdot ({\delta }^l\otimes rot180(W^l))$$

注意到LeNet-5中没有卷积层直接与卷积层相连接的地方，所以上式没有用到。以后应该会用到吧（大概

C3>>>S4

S4是池化层，在LeNet5中，使用的是$2\times 2$的区域加和乘权重$W^l$在加上偏置$bia{s}^l$

设池化后大小为$N,N$

正向传播：
$$\begin{gathered} x_{i,j}^l=\left(\sum _{a=0}^1\sum _{b=0}^1{y}_{2i+a,2j+b}^{l-1}\right)\cdot W^l+bia{s}^l \\ {y}_{i,j}^l=sigmoid(x_{i,j}^l) \end{gathered}$$

反向传播：

$$\begin{array}{rl}{\delta }_{i,j}^l& =\frac{\partial E}{\partial x_{i,j}^l}\\ & =\frac{\partial E}{\partial y_{i,j}^l}\frac{\partial y_{i,j}^l}{\partial x_{i,j}^l}\\ & =\frac{\partial E}{\partial y_{i,j}^l}sigmoi{d}^{\prime }(x_{i,j}^l)\\ & =\frac{\partial E}{\partial y_{i,j}^l}sigmoid(x_{i,j}^l)(1-sigmoid(x_{i,j}^l))\end{array}$$

$$\begin{array}{rl}\frac{\partial E}{\partial W^l}& =\sum _{i=0}^N\sum _{j=0}^N\frac{\partial E}{\partial x_{i,j}^l}\frac{\partial x_{i,j}^l}{\partial W^l}\\ & =\sum _{i=0}^N\sum _{j=0}^N{\delta }_{i,j}^l\left(\sum _{a=0}^1\sum _{b=0}^1{y}_{2i+a,2j+b}^{l-1}\right)\end{array}$$

$$\begin{array}{rl}\frac{\partial E}{\partial bia{s}^l}& =\sum _{i=0}^N\sum _{j=0}^N\frac{\partial E}{\partial x_{i,j}^l}\frac{\partial x_{i,j}^l}{\partial bia{s}^l}\\ & =\sum _{i=0}^N\sum _{j=0}^N{\delta }_{i,j}^l\end{array}$$

计算下一层的$\frac{\partial E}{\partial y_{i,j}^{l-1}}$

$$\begin{array}{rl}\frac{\partial E}{\partial y_{i,j}^{l-1}}& =\frac{\partial E}{\partial x_{\lfloor i/2\rfloor ,\lfloor j/2\rfloor }^l}\frac{\partial x_{\lfloor i/2\rfloor ,\lfloor j/2\rfloor }^l}{\partial y_{i,j}^{l-1}}\\ & ={\delta }_{\lfloor i/2\rfloor ,\lfloor j/2\rfloor }^l{W}^l\end{array}$$

S2>>>C3

与S4>>>C5同

C1>>>S2

与C3>>>S4同

INPUT>>>C1

与S4>>>C5同，输入图片即为$y^{l-1}$