深度学习: BP (反向传播) 计算 & 链式法则

BP

每个epoch：
每个batch：
每个level (n = N, … to 1，即从顶层往底层)：
分别计算出该层误差（对该层参数、该层输入数据）的导数：
1. ∂L∂ωn=∂L∂xn+1∂xn+1∂ωn ∂ L ∂ ω n = ∂ L ∂ x n + 1 ∂ x n + 1 ∂ ω n (更新本level的 ωn ω n 时即用)
2. ∂L∂xn=∂L∂xn+1∂xn+1∂xn ∂ L ∂ x n = ∂ L ∂ x n + 1 ∂ x n + 1 ∂ x n (留给底一层的level用)
更新参数：
1. ωn←ωn−η∂L∂ωn ω n ← ω n − η ∂ L ∂ ω n
2. bn←bn−η∂L∂bn b n ← b n − η ∂ L ∂ b n

Arg:

• ω ω ：欧米茄；
• η η ：艾塔。

Note：

• BP中的 ∂L∂ωn ∂ L ∂ ω n 和 ∂L∂xn ∂ L ∂ x n 的计算结果 来源于 对 前馈计算时 的 L=f(wnxn) L = f ( w n x n ) 的求导 。

链式法则

∂L∂ωn=∂L∂xn+1∂xn+1∂ωn=(∂L∂xn+1)∂xn+1∂ωn=(∂L∂xn+2∂xn+2∂xn+1)∂xn+1∂ωn=(∂L∂xn+3∂xn+3∂xn+2∂xn+2∂xn+1)∂xn+1∂ωn ∂ L ∂ ω n = ∂ L ∂ x n + 1 ∂ x n + 1 ∂ ω n = ( ∂ L ∂ x n + 1 ) ∂ x n + 1 ∂ ω n = ( ∂ L ∂ x n + 2 ∂ x n + 2 ∂ x n + 1 ) ∂ x n + 1 ∂ ω n = ( ∂ L ∂ x n + 3 ∂ x n + 3 ∂ x n + 2 ∂ x n + 2 ∂ x n + 1 ) ∂ x n + 1 ∂ ω n