BP算法示例

转：大白话讲解BP算法https://blog.csdn.net/zhaomengszu/article/details/77834845

手算梯度下降法，详解神经网络迭代训练过程

https://blog.csdn.net/tyler_download/article/details/79964115
误差处理情况，第一种计算误差的方式是将简单的将网络计算结果与正确结果相减，但采用这种做法，如果我们把所有误差相加在一起，结果居然为零，因为第一个节点的结果与正确结果的差值和第二个节点结果与正确结果的差值刚好相反，于是误差就相互抵消掉，由此直接将两者相减不是一种理想的误差计算方式。
第二种是相减后求绝对值。这样一来每个节点间的误差在加总时就不会相互抵消，但绝对值的存在使得函数图像会变成一个”V”字型，在最低点处是一个箭头，于是这个函数在最低点处不连续，梯度下降法不能运用于不连续的函数。
第三者是两者相减后求平方，这种做法使得误差函数变成一条光滑的曲线，这是梯度下降法运用的最佳场景。在上一节中我们讲过，我们要根据数据点所在的切线斜率来“适当”的调整变量的值，后面我们会看到，这里的“适当”就得依赖切线的斜率大小，一条光滑曲线，也就是一条“连续”曲线，它在最低点附件切线的斜率会越来越小，这样的话变量改变的幅度也会越来越小，进而使得我们能够准确的定位到最低点。这里的”连续“指的就是高等数学或微积分上的”连续“。