深度学习数学基础之链式法则

上次讲了导数和偏导数的基础，那么这些还不足以使用起来，今天就来讲讲误差反向传播中用来解决复杂函数求导的链式法则。

1 复合函数

已知函数y=f(u)，当u表示为u=g(x)时,y作为x的函数就可以表示为y=f(g(x))这样的嵌套结构，这种嵌套结构的函数，就称为f(u)、g(x)的复合函数。

2 链式法则

2.1 单变量函数链式法则

已知单变量函数y=f(u)，当uu表示为单变量函数u=g(x)时，复合函数f(g(x))的导函数可以如下简单地求出来。

上面这个公式称为单变量函数的复合函数求导公式，也称为链式法则。

公式的右边，如果将dx、dy、du都看作一个单独的字母，那么公式的左边可以看作将右边进行简单的约分的结果，这个看法总是成立的。通过将导数用dx、dy等表示，我们可以这样记忆链式法则：复合函数的导数可以像分数一样使用约分。，但是这个约分的法则不适用于dx、dy的平方等情形。

下面我们来试试对sigmoid与wx+b的复合函数进行求导吧

2.2 多变量函数链式法则

在多变量函数的情况下，链式法则的思想也同样适用。只要像处理分数一样对导数的式子进行变形就行了，但是事情并没有想的那么简单，因为必须要对相关的全部变量应用链式法则。

让我们来看看两个变量的情形。变量z为u、v的函数，如果u、v分别为x、y的函数，则z为x、y的函数，此时下方的多变量函数的链式法则成立。

变量z为u、v的函数，u、v分别为x、y的函数，z关于x求导时，先对u、v求导，然后与z的相应导数相乘，最后将乘积加起来。

z关于y求导时，也是如此。下方式子依旧成立。