非线性规划（凸规划，无约束最优化方法，约束最优化方法）

非线性规划

非线性规划的最优解可能在可行域的任何地方取得。
一元函数：二阶导数>=0,曲线凹，即下凸。
二元函数：图解法

凸集：集合中任意取两个点x1和x2，若x1和x2之间的任意一个点都在该集合中，则该集合为凸集。

凸规划

凸规划：可行域是凸集，函数是凸函数。

求f(x)的H矩阵，H矩阵一定是对称矩阵（除了主对角线以外，其余元素关于主对角线对称）。若H矩阵半正定，则f(x)是凸集上的凸函数；若为正定，则为严格凸函数。

判单正定或半正定或 不定的方法：

求对称矩阵的顺序主子式（各阶取同行同列，如：一阶取一行一列，二阶取1，2行，1，2列）
若所有行列式严格>0，则说明是正定的；
若>=0，则有可能是半正定，则计算主子式。主子式：一阶取第一行一列，二阶任取两行两列。
若主子式>0，则说明是半正定。
若所有计算过程中，出现行列式<0的情况，则为不定。

二次规划

无约束最优化方法

如何找到唯一的极小值点？

一元函数（一维搜索）

先求出驻点，判断是不是极值点，否则则用以下方法。

• 黄金分割法（找到单谷区间（驻点的可能区间），0.618法）
• 牛顿法

牛顿法详解

两种方法可同时使用。
梯度：偏导数构成的列向量。可写为：长度**单位向量（也就是步长*方向）

多元函数：

• 最速下降法（梯度法）

这一步可看为一维搜索，即求t使得f最小。

• 牛顿法
  

步骤

约束最优化方法

（把非线性规划转换为线性规划）

• 只有等式约束：构造拉格朗日函数（条件极值）
• 只有不等式约束：障碍函数法
• 二者都有：惩罚函数法
  构造增广目标函数=目标函数+惩罚函数
  罚函数法(外部惩罚法)
  障碍函数法(内部惩罚法)
  
  只要x不在可行域里，函数值不会等于0，c是很大的常数，所以p(x)会很大，也就是惩罚很大。