线性反向传播（机器学习）

 

第一步：正向计算

---

  

 •当 =3,  =4 时，计算得到 =18,  =9,  =162。

第二步：反向传播（1）求W的偏导数

---

• 链式法则：因为 =     其中 =2 +3         =2 +1 ，故而

•直接求导： = =( 2 +3 )( 2 +1) =4 +2 +6 ^ 2 +3 z ，故而

                

• 两种方法的运算结果一致。

 

 目标：=150。

由前述梯度计算结果有：

 由上述公式变形可得：

 

 更新W 得：=2.3333（反向传播的精髓，通过重新赋值完成反向传播）

得 ：z=150.0003

更新w后的计算结果与目标十分接近。

第三步：反向传播（2）求W的偏导数

---

 目标：=150

由前述梯度计算结果有：