机器学习中的数学基础-day2

参考： 拜师资源博客，2021-09-06 机器学习中的数学基础–第二天

学习内容

多元函数

设$D$为一个非空的$n$元有序数组的集合，$f$为某一确定的对应规则。若对于每一个有序数组$(x_1,x_2...x_n)\in D$，通过对应规则$f$，都有唯一确定的实数$y$与之对应，则称对应规则$f$为定义在$D$上的$n$元函数

记为：$y=f(x_1,x_2....x_n)$，其中$(x_1,x_2...x_n)\in D$。变量$(x_1,x_2...x_n)$称为自变量，$y$称为因变量。

当$n=1$时，为一元函数，记为$y=f(x),x\in D$，当$n=2$时，为二元函数，记为$z=(x.y),(x.y)\in D$。二元及以上的函数统称为多元函数。

ps.类似于一元函数，但因自变量更多，需考虑每一个自变量对因变量的影响.

偏导数

定义：

• $X$方向的偏导：设有二元函数$z=f(x.y)$，点$(x_0,y_0)$是其定义域$D$内一点。把$y$固定在$y_0$而让$x$在$x_0$有增量$△x$，相应地函数$z=f(x.y)$有增量(称为对$x$的偏增量)$△z=f(x_0+△x,y_0)-f(x_0,y_0)$。
• $Y$方向的偏导，把$x$固定在$x_0$而让$y$在$y_0$有增量$△y$,如果极限存在那么此极限称为函数$z=（x，y）$在$(x_0,y_0)$处对$y$的偏导数，记做 $f_y^{‘}(x_0,y_0)$

方向导数

存在方向导数，但不一定存在偏导数，如$z=\sqrt{x^2+y^2}$，在0处就不存在偏导数

可微

梯度

##链式法则（多元函数）

• 雅可比矩阵
  
• 定义
  
  ##Hessian矩阵
  
  

拉格朗日乘数法