拉格朗日乘子法和KKT条件求解最优化方法

在求取有约束条件的优化问题时，拉格朗日乘子法 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。

通常我们需要求解的最优化问题有如下几类：

(i) 无约束优化问题。

                                      min f(x);  

这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点，如果是凸函数，可以保证是最优解。

(ii) 有等式约束的优化问题，常常使用的方法就是拉格朗日乘子法。

(iii) 有不等式约束的优化问题，常常使用的方法就是KKT条件。