深度之眼(十八)——偏导数与矩阵的求导

文章目录

  • 一、偏导数
  • 二、多元复合函数的求导法则,链式求导法则
  • 三、方向导数与梯度及其应用
  • 四、多元函数泰勒公式与海森炬阵
  • 五、多元角数的极值
  • 六、距阵的求导
  • 七、矩阵的求导在深度学习中的应用

一、偏导数

深度之眼(十八)——偏导数与矩阵的求导_第1张图片
深度之眼(十八)——偏导数与矩阵的求导_第2张图片

对某个变量求偏导,则其余变量看成常数

深度之眼(十八)——偏导数与矩阵的求导_第3张图片
深度之眼(十八)——偏导数与矩阵的求导_第4张图片

可以直接认为成立,不必拘泥条件

二、多元复合函数的求导法则,链式求导法则

深度之眼(十八)——偏导数与矩阵的求导_第5张图片

这里举了一个不错的技巧,可以看z到t有几条路径
深度之眼(十八)——偏导数与矩阵的求导_第6张图片
对多元时求偏导的方法
比如对x求偏导,就看到x的路径,有几条,分别经过什么

深度之眼(十八)——偏导数与矩阵的求导_第7张图片
深度之眼(十八)——偏导数与矩阵的求导_第8张图片
深度之眼(十八)——偏导数与矩阵的求导_第9张图片

关键是画准链式关系

三、方向导数与梯度及其应用

深度之眼(十八)——偏导数与矩阵的求导_第10张图片
深度之眼(十八)——偏导数与矩阵的求导_第11张图片
深度之眼(十八)——偏导数与矩阵的求导_第12张图片

深度之眼(十八)——偏导数与矩阵的求导_第13张图片
深度之眼(十八)——偏导数与矩阵的求导_第14张图片

举例

深度之眼(十八)——偏导数与矩阵的求导_第15张图片

深度之眼(十八)——偏导数与矩阵的求导_第16张图片
梯度的正方向,是梯度增长最快的方向。
梯度的负方向,是梯度减小最快的方向

四、多元函数泰勒公式与海森炬阵

一般用到二阶

深度之眼(十八)——偏导数与矩阵的求导_第17张图片
深度之眼(十八)——偏导数与矩阵的求导_第18张图片
深度之眼(十八)——偏导数与矩阵的求导_第19张图片
海森矩阵是个对称矩阵

五、多元角数的极值

深度之眼(十八)——偏导数与矩阵的求导_第20张图片
深度之眼(十八)——偏导数与矩阵的求导_第21张图片
深度之眼(十八)——偏导数与矩阵的求导_第22张图片

六、距阵的求导

深度之眼(十八)——偏导数与矩阵的求导_第23张图片
深度之眼(十八)——偏导数与矩阵的求导_第24张图片

f(x)对其求偏导,就是个列向量,有几个变量,就有行
右值都是看成实数

深度之眼(十八)——偏导数与矩阵的求导_第25张图片

对x求偏导
对x求偏导
对x求偏导
对a求偏导
fx = Ax
A
fx = x^Tx
Ax+A^Tx
fx = a^Tx
a
x

解释之前的J

深度之眼(十八)——偏导数与矩阵的求导_第26张图片
深度之眼(十八)——偏导数与矩阵的求导_第27张图片

所以Ja求偏导等于0,过程在上面

深度之眼(十八)——偏导数与矩阵的求导_第28张图片
深度之眼(十八)——偏导数与矩阵的求导_第29张图片
深度之眼(十八)——偏导数与矩阵的求导_第30张图片

七、矩阵的求导在深度学习中的应用

深度之眼(十八)——偏导数与矩阵的求导_第31张图片
深度之眼(十八)——偏导数与矩阵的求导_第32张图片
深度之眼(十八)——偏导数与矩阵的求导_第33张图片

你可能感兴趣的:(深度之眼,机器学习,人工智能,算法)