机器学习之多层网络前向传播和反向传播

机器学习之多层网络前向传播和反向传播

在上一篇文章中提到了单层感知机的前向传播和后向传播。 现在再谈谈对多层感知机的前向、后向传播的理解。
多层感知机顾名思义，就是由多个神经元构成的一组网络。
可以和单层感知机对比看看。

多层中分为三类权重
红线分别是 w11,w21,w31
绿线分别是 w21,w22,w23
蓝线分别是 w31,w32,w33

由图可以看出多层网络就是将多个神经元相互连接所组成的一个网络。上一层的输出就是下一层的输入。

用公式表达,
xx = w*x + b

第二层权重统一用W表示,偏移用大写的B表示
所以这个多层的网络输出结果就是
output = f(xx) = W*(w*x+b)+B

所以多层网络的前向传播就变得更加复杂
xx = w * x+b
output = W * xx+B
output = f(xx) = W * (w * x + b) + B

而多层网络的反向传播就是在正向传播完成后，依次更新W,B，w,b的过程。 这里可以按照单层感知机的流程来进行理解。