卷积神经网络反向传播推导

以TensorFlow的卷积神经网络为例

卷积-池-卷积-池-全连接-softmax

前向传导

C1层：卷积神经网络的输入是28×28的矩阵 A ，经过 F1 个5×5的卷积核 K1i(i=1,2,...,F1) 的卷积生成 F1 个24×24大小的feature maps：
C1i=conv2(A,K1i,′VALID′)+b1i
u1i=C1i
a1i=f(u1i)

S2层：窗口为2x2，输出为12x12的pool maps:
S2i=β2idown(a1i)+b2i
u2i=S2i
a2i=f(u2i)

C3层：卷积神经网络的输入是12x12的矩阵 A ，经过 F1 个5×5的卷积核 K3ij(i=1,2,...,F1) 的卷积生成 F1 个8x8大小的feature maps：
C1i=conv2(A,K1i,′VALID′)+b1i
u1i=C1i
a1i=f(u1i)

S4层：窗口为2x2，输出为4x4的pool maps:
S4i=β4idown(a3i)+b4i
u4i=S4i
a4i=f(u4i)

全连接层：将 a4i 展开，作为全连接层的输入

反向传播

全连接层

δ(l+1)i=∂J∂z(l+1)i=∑k=1Sl+2∂J∂z(l+2)k⋅∂z(l+2)k∂a(l+1)i⋅∂a(l+1)i∂z(l+1)i=∑k=1S(l+2δ(l+2)lθ(l+1)k,i⋅g′(z(l+1)i)

∂J∂θl=δl(al−1)T

∂J∂bl=δl

卷积层
假设前一层 l−1 为池化层，当前层 l 为卷积层，后一层 l+1 为池化层

δ(l)i=∂J∂u(l)i=[∂J∂ul+1i,(jk)∂ul+1i,(jk)∂ali,(jk)∂ali,(jk)∂uli,(jk)]jk=β(l+1)i(f′(u(l)i)∘up(δ(l+1)i))

up运算为：

up([1324])=⎡⎣⎢⎢⎢1133113322442244⎤⎦⎥⎥⎥)

∂J∂b(l)i=∑s,t(δi)st

∂J∂K(l)ij=∑st(δ(l)i)st(P(l−1)j)st

其中， (∗)st 遍历 ∗ 的所有元素， (P(l−1)j)st 是 δ(l)i 所连接的 l−1 层中 a(l−1)j 中相关的元素构成的矩阵。

池化层

δ(l)i=∑j=1Nlf′(u(l)i∘conv2(δ(l+1)j,K(l+1)ji,′full′))

∂J∂b(l)i=∑s,t(δ(l)i)st

∂J∂β(l)i=∑s,t(δ(l)i∘d(l−1)i)st

其中， (∗)st 遍历 ∗ 的所有元素， d(l−1)i=down(a(l−1)i) 。

解释一下为什么 δ(l)i 公式中有conv2:

∂J∂uli,(jk)=∑mrelated∂J∂ul+1m∂ul+1m∂ali,(jk)∂ali,(jk)∂uli,(jk)

其中与 ali,(jk) 相关联的feature maps中的 δ(l+1) 和卷积核参数 K(l+1) 可以由卷积操作完成。例子参考 http://www.cnblogs.com/tornadomeet/p/3468450.html 最好手算一遍体会。

Reference

http://www.cnblogs.com/tornadomeet/p/3468450.html
http://tech.youmi.net/2016/07/163347168.html?utm_source=tuicool&utm_medium=referral