高数基础

1. Taylor 公式

通过函数的高阶导数来逼近函数的值

2.导数

一阶导数就是函数的斜率，是函数变化快慢的反应

二阶导数是函数斜率变化快慢，用于判断函数的凹凸性

3. 常见函数的导数

4. 导数的运算法则

5. 复合函数运算法则

6. 空间解析几何和向量代数

7. 多元函数微分法

8. 方向导数和梯度

9. 曲线的凹凸性和拐点

凹凸性的判别

凸函数的一般形式

凸函数的性质应用

凸函数的作用

为什么要求是凸函数呢？因为如果是下图这样的函数，则无法获得全局最优解

10. 凸集

集合C内任意两点间的线段均在集合C内，则成集合C为凸集

其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C内，则C为凸集

凸集作用

因为如果可行域不是凸集，也会导致局部最优

11. 函数的极值及其求解的步骤

12. 多元函数求极值

在多元函数中求极值的方法类似，只是在判断凹凸性引入一个矩阵，叫做Hessian矩阵。如果实值多元函数在定义域内二阶连续可导，那么我们求它的极值，首先对所有求偏导，得到方程如下

通过这个n个方程可以求解驻点M，这个驻点是一个长度为n的一维向量，但是这个驻点有2中情况，分别是：局部最大值，局部最小值和非极值

所以引入Hessian矩阵，来判断多元函数的凹凸性问题。

Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率，常用于迭代法解决优化问题

如果函数在定义域内二阶连续可导，那么Hessian矩阵在定义域内为对称矩阵，因为如果函数连续，则二阶偏导数的求导顺序没有区别

Hessian矩阵判断

（1）如果是正定矩阵，则临界点处是一个局部极小值

（2）如果是负定矩阵，则临界点处是一个局部极大值

（3）如果是不定矩阵，则临界点处不是极值

实二次型矩阵为正定二次型的判断方法

判断一个矩阵是否是正定方法 ：

1、顺序主子式：实对称矩阵为正定矩阵的充要条件是的各顺序主子式都大于零。

2、特征值：矩阵的特征值全大于零，矩阵为正定。矩阵的特征值全小于零，矩阵为负定。否则是不定的。

13. 最速下降法求解函数极值

14. 拉格朗日乘子法