“深度学习”学习日记。误差反向传播法 -- 链式法则

2023.1.15

开门见山，先直接讲什么是 链式法则 的定义：

“如果，某个函数有复合函数表示，则复合函数的导数可以用构成符合函数的各个导数的乘积表示。”

举一个例子：现在有一个函数   

由以上定义可以这么理解：  用通俗的话来讲就是  相互抵消。

然而，计算图反向传播局部导数的原理也是基于 链式法则。

好比 一个损失函数：  ;

 损失函数值loss乘以节点  的偏导数，再把这个局部导数乘以上游的传递过来的值。这就是反向传播，可以高效地求出导数的值。

以   为例子 ：

 以**2节点表示平方运算，  ; 根据链式法则 ：能验证   成立，更能验证反向传播是基于链式法则的