CNN学习之旅[2]之第一次加副标题的BP算法理解

在训练神经网络的算法中，BP算法可以说是经典中的经典。

这里所有的激活函数都用Sigmoid,该函数有一个性质

f′(x)=f(x)(1−f(x))

这个性质等下会用到。
yˆ 表示训练样例的标签。
E表示损失，

E=12∑(yˆ−y)2

---

从最基础情况开始说明：

最底下一层为输入层，上面一层是输出层，输出层的输入为a，输出为y, 偏移量为 θ ,则

y=f(a+θ)

设输入层神经元与输出层的权值分别为 w1,w2,w2 ,所以

a=w1x1+w2x2+w3x3

BP算法最重要的部分是求 Δw , 以 w1 为例， w1 先影响输出层的输入a，从而对输出层输出产生影响，最终影响 E，则可以得：

∂E∂w1=∂E∂y∂y∂a∂a∂w1

∂E∂y=yˆ−y

∂y∂a=y(1−y)利用f′(x)=f(x)(1−f(x))以及∂(a+θ)∂a=1

∂a∂w1=x1

所以：

∂E∂w1=(yˆ−y)y(1−y)x1

---

然后是较为复杂的情况：

同样以 w11 为例， w11 先影响 a1 ,再影响 y1 ,得：

∂E∂w11=∂E∂y1∂y1∂a1∂a1∂w11

∂E∂y1=y1ˆ−y1

∂y1∂a1=y1(1−y1)

∂a1∂w11=x1

∂E∂w11=(y1ˆ−y1)y1(1−y1)x1

---

然后多一层：

b为输出层的输入值，z为输出层的输出值， b=v1y1+v2y2 , z=f(b+γ) ,
∂E∂v1 与第一种情况类似，

∂E∂v1=(zˆ−z)z(1−z)y1

∂E∂w11 则是, w11 ,先影响 a1 ,再影响 y1 ，再影响b，再影响z

∂E∂w11=∂E∂z∂z∂b∂b∂y1∂y1∂a1∂a1∂w11

=(zˆ−z)z(1−z)v1y1(1−y1)x1

---

如果说输出是 z1,z2 两个值，

∂E∂v11 与第二种情况类似

则 w11 ,先影响 a1 ,再影响 y1 ，再影响 b1,b2 ，再影响 z1,z2

∂E∂w11=∂E∂z1∂z1∂b1∂b1∂y1∂y1∂a1∂a1∂w11+∂E∂z2∂z2∂b2∂b2∂y1∂y1∂a1∂a1∂w11

=∑i=12∂E∂zi∂zi∂bi∂bi∂y1∂y1∂a1∂a1∂w11

=y1(1−y1)x1∑i=12((ziˆ−zi)zi(1−zi)v1i)

---

最后是真正的一般的BP算法：
设输出层z的个数,中间层y的个数，输入层x的个数，分别为 l,m,n ,则：

∂E∂vij=(zjˆ−zj)zj(1−zj)yi

∂E∂whi=yi(1−yi)xh∑j=1l((zjˆ−zj)zj(1−zj)vij)