“深度学习”学习日记。误差反向传播法--反向传播

2023.1.15

我们已经知道了 反向传播 是基于链式法则的成立，先来学习反向传播的结构；

加法节点的结点的反向传播：

以函数  为例子：

可得： ；   

 在反向传播中，从上游传递的值   往下游传递，也就是说因为加法节点反向传递至能×1，所以输入的值会原封不动的传递到下一个节点

乘法节点的反向传播： 

以函数  为例子：；   。

 所以在反向传播中，乘法是一个 翻转关系 ，只是将上游信号传递给下游，并不需要上游的信号，而且乘法的反向传播需要上游信号的值，比如x，y，故我们实现乘法传播时需要保存上游信号。

回顾一下，在上一篇文章：https://blog.csdn.net/m0_72675651/article/details/128681972 篮球涨价的例子。

如果我们购买的足球也应付价格增加1元了，应该涨了多少呢？该如何传播呢？

 根据“乘法节点”、“加法节点”的反向传播：

 由此图，我们可以理解为，篮球价格的大导数是1.8，足球价格的导数是2.7，优惠卷的导数的值是800，这表示如果优惠卷和篮球的价格增加相同的值，那么优惠卷对应付价格的影响是800倍，篮球价格对应付金额的影响是1.8倍。