深度学习求导

什么是导数,导数其实就是斜率。

也就是说当输入移动一个非常小的数的时候,函数增长了多少。

如果数学好,你可以推演任意一个函数的导数是什么,不过大部分时间不需要,只要上网查一下,就能知道各个函数的导数是什么。

以下是例子:

f(a)=a2的导数=2a

知道了各个函数的导数,第二个重要的概念就是连锁规则(chain rule)

深度学习求导_第1张图片

dl/da的导数 
dsigma/dz的导数 
dl/dz的导数,就是上面相乘,结果就是

这样子,你就知道一个样本的导数了

最后就是所有的样本一起求导,这就是向量化!


希望能帮到大家理解

你可能感兴趣的:(Python,python)