深度学习基础 多层感知器&反向传播算法

定义：
1.$W^{(l)}$为第$(l-1)$层至第l层的权重矩阵，$w_{j,k}^{(l)}$为$W^{(l)}$中的第行第$k$列的一项，表示第$(l-1)$层第$k$个节点到第$l$层第$j$个节点的权重（注意这里$j,k$的对应）。
2.$b^{(l)}$为第$l$层的偏置向量，$b_j^{(l)}$为第$l$层第$k$个节点的偏置。
3.$\sigma (...)$代表激活函数。
4.$a^{(l)}=\sigma (z^{(l)})$，其中$a_j^{(l)}=\sigma (z_j^{(l)})$
5.$z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)}$，其中$z_j^{(l)}=({\sum }_k{w}_{j,k}^{(l)}{a}_k^{(l-1)})+b_j^{(l)}$
6.$C(...)$代表损失函数。
7.$\alpha$代表学习速率

反向传播

假设这里多层感知器层数为$L$，权重及偏移的更新采用随机梯度下降法。
$$\Delta w_{j,k}^{(l)}=-\alpha \frac{\partial C}{\partial w_{j,k}^{(l)}},\Delta b_j^{(l)}=-\alpha \frac{\partial C}{\partial b_j^{(l)}}$$
设${\delta }_j^{(l)}=\frac{\partial C}{\partial z_j^l}$,我们首先对最后一层的更新进行讨论：
$$\frac{\partial C}{\partial w_{j,k}^{(L)}}=\sum _i\frac{\partial C}{\partial z_i^{(L)}}\frac{\partial z_i^{(L)}}{\partial w_{j,k}^{(L)}}$$
$while$ $i\ne j,\frac{\partial z_i^{(L)}}{\partial w_{j,k}^{(L)}}=0$，所以
$$\frac{\partial C}{\partial w_{j,k}^{(L)}}=\frac{\partial C}{\partial z_j^{(L)}}\frac{\partial z_j^{(L)}}{\partial w_{j,k}^{(L)}}={\delta }_j^{(L)}{a}_k^{(L-1)}$$
同理
$$\frac{\partial C}{\partial b_j^{(L)}}={\delta }_j^{(L)}{a}_k^{(L-1)}$$
在这里
$${\delta }_j^{(l)}=\frac{\partial C}{\partial z_j^l}=\frac{\partial C}{\partial a_j^l}{\sigma }^{\prime }(z_j^l)$$
对其他的$l<L$，我们可以用第$(l+1)$层上的结果逆推得到第$l$层上的结果，也就是一个反向传播的过程。
和上边第$L$层类似，有
$$\frac{\partial C}{\partial w_{j,k}^{(l)}}={\delta }_j^{(l)}{a}_k^{(l-1)},\frac{\partial C}{\partial b_j^{(l)}}={\delta }_j^{(l)}$$
现在只要得到${\delta }_j^{(l)}$即可算出第$l$层的更新式。
$${\delta }_j^{(l)}=\frac{\partial C}{\partial z_j^l}=\sum _i\frac{\partial C}{\partial z_i^{l+1}}\frac{\partial z_i^{l+1}}{\partial z_j^l}=\sum _i{\delta }_i^{(l+1)}{w}_{i,j}^{(l+1)}{\sigma }^{\prime }(z_j^{(l)})$$
而在上边我们得到了最后一层的所有${\delta }_j^{(L)}$，我们可以由此得到第$(L-1),(L-2),...,1$层的更新式，完成整个网络的更新过程。