2018-09-26BP回顾

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络。    （其实就是反向传播，不要怕奇奇怪怪的专有名词，多看几个文章基本就能理解了）

这就是很专业，很不亲民的文章：https://blog.csdn.net/qq_32241189/article/details/80305566  但论文大多如此，所以你要学会看懂这类文章

这是很亲民，容易理解的文章：https://blog.csdn.net/zhaomengszu/article/details/77834845   

第一步：

确定你的输入，想要的输出：也就是制定好（规则）目标，网络结构，初始权重，激活函数，学习率，是否正则化，以及是否纳入RMSprop，early—stopping，等策略制定。（详见机器学习笔记文本）

第二步：

让它前向传播就好，你会得到一个结果，别如说你给它一个人的图片，它第一次传播输出是：狗。肯定不对，是吧？这时候就要开始反向传播了

第三步：

反向传播：计算总误差，如下：

先计算w5的偏导：

图解偏导计算

计算好偏导之后：更新我们的权重值：

η是学习率

按此方法网络中所有的权重值都会被更新一遍，然后我们拿更新好权重后的网络再一次跑

第二步

结果还是不满意？继续：

第三步

..........................................（如此循环）

如此循环下去，直到你的分类器输出终于是：人 。为止

或者是在训练集上误差在你的容忍值之内，之后你还要测试它在开发集，测试集上的表现，如果不好，你肯恩还要改变你的输入，使它们子在同一分布......等等。此为后话。

以上即为BP算法的全部回顾。