深度学习基于链式法则的反向传播计算图

记在开头,以simoid激活函数为例,学习基于链式法则的反向传播,有计算图更加的形象。
总结一条规律:反向传播遇到节点(函数关系)时把节点前面那个值看成整体,节点后的值对前值求导即可。一路累乘,遇到加法节点上游等于下游,乘法节点上游乘以相反的下游即可。

说到激活函数(如ReLU节点),反向传播时导数(y对x的偏导)当x>o时为1,当x<0时为0。
同理另一个激活函数sigmoid导数因为总在0到1之间,反向累乘时会造成梯度消失。

深度学习基于链式法则的反向传播计算图_第1张图片
深度学习基于链式法则的反向传播计算图_第2张图片
深度学习基于链式法则的反向传播计算图_第3张图片

tips:发图片时旋转在#pic_center前加上/rotate,角度即可!

你可能感兴趣的:(数学计算,深度学习)