BP算法的理解

目标：通过计算输出层和期望值之间的误差（损失函数），来调整网络参数，从而达到误差最小。
BP算法的本质：就是通过梯度下降法来优化网络参数。
梯度下降法的本质：通过迭代的形式，计算目标函数的最小值对应的参数。（目标函数在深度学习和机器学习中就是对应的误差函数）
梯度下降法的形式：泰勒公式
泰勒公式一阶导数的形式：就是一阶导数。

相关的知识点：（1）误差函数
（2）激活函数求导(sigmoid函数求导)
（3）导数链式法则
（4）梯度下降法
步骤：1. 通过计算一个样本，前向传播得到输出层y^和期望值y的误差函数E。
2. 根据误差函数求出输出神经元和隐层神经元的梯度项。
3. 根据梯度下降法，以目标的负梯度方向对参数进行调整。
4. 直到误差E较小，或者达到预定的训练次数，停止训练。

注：当梯度下降法接近局部最小值时，导数项会变得越来越小。当为局部最小值时，导数项会为0。
线性拟合中，误差函数表征了所有样本误差的平均值。
吴恩达计算梯度法的步骤：

参考链接：
https://blog.csdn.net/u014303046/article/details/78200010