反向传播算法之要点(Backpropagation Algorithm)

Introduction

反向传播是一个很简单的算法，一个学习过微积分的人就能够轻松的理解。本文希望避免让人打不起精神来看的冗余繁杂，简洁地把反向传播的算法的推导过程和求解过程进行简洁、清晰的表述。

本文目标读者：

大概了解反向传播，但是还没有理解反向传播的公式推导过程。

反向传播的要点只有3个公式，首先在此做总结如下：

符号解释：

符号	含义
	第l-1层第j个神经元输入到第l层第i个神经元时所要乘的权重
	第l层第i个神经元的偏置
	第l层第i个神经元的输入，
	第l层第i个神经元的输出，
	Cost function

tips:当没有加上下标的时候，表示一个列向量或矩阵

3个基本公式

公式的推导

求解参数：已知求解参数

已知：

推导：

$\Rightarrow_{(elementwise \, form)} \frac {\partial C}{\partial w^l_{ij}}=\frac {\partial C}{\partial z^l_i} \frac {\partial z^l_i}{\partial w^l_{ij}}=\delta^l_i a^{l-1}_j ,\quad \frac {\partial C}{\partial b^l_{i}}=\frac {\partial C}{\partial z^l_i}\frac {\partial z^l_i}{\partial b^l_i}=\delta^L_i$

递推：已知求解

全微分Review:

推导：

$\delta^{l}_j=\frac {\partial C}{\partial z^l_j}=\sum_i \frac {\partial C}{\partial z^{l+1}_i} \frac {\partial z^{l+1}_i}{\partial a^l_j} \frac {\partial a^l_j}{\partial z^l_j}=\frac {\partial a^l_j}{\partial z^l_j} \sum_i \frac {\partial C}{\partial z^{l+1}_i} \frac {\partial z^{l+1}_i}{\partial a^l_j}=a'(z^l_j)\sum_i \delta ^{l+1}_iw^{l+1}_{ij}$

tip: "" 代表Hadamard积，两个向量的Hadamard积就是把他们的元素对应相乘，例：

Backpropagation Algorithm

backpropagation(x):

输入：令

前向传播:迭代式地计算，并且保存它们。迭代公式：,。

计算输出层的误差：根据选择的Cost function，计算输出层的

反向传播:根据当前的计算并保存、，迭代计算

输出所有的微分：、, ,

Behind the Backpropagation

反向传播的本质是链式法则+动态规划。

整个计算图中，假设每个连边代表上层对下层进行求导，那么传统方法求解cost function关于某个参数的导数，根据链式法则，就需要计算从最后一层到这一个参数路径上的所有导数，然后再把他们乘起来。可想而知，计算复杂度随着网络的深度增加将会变得非常大。

在反向传播算法中，首先通过一个前向传播的过程计算并保存了每一层的输出，然后利用链式法则推导出了从后往前的递推公式，使得计算图上的每一条边只用计算一次，就能求出关于任何参数的导数。

反向传播算法之要点(Backpropagation)

反向传播算法之要点(Backpropagation Algorithm)

Introduction

公式的推导

Backpropagation Algorithm

Behind the Backpropagation

你可能感兴趣的:(反向传播算法之要点(Backpropagation))