KKT(Karush-Kuhn-Tucher)条件理解

KKT条件主要涉及凸优化问题，学习SVM的时候求解拉格朗日函数的对偶问题时，需要使用KKT条件来得到最终的。

1、对于无约束问题(unconstrained minimization):

                                                     

1) 一阶必要条件为：

                                     

2) 二阶必要条件为：

                                      即Hessian半正定

2、等式约束问题(Equality constraints):

原问题为：

                    

为目标函数，为约束条件

eg：

当时，即和共线，在此处可到最优解(在约束条件的边界上)。

1）

2) 优化问题的拉格朗日函数为：

3) 存在最优解的条件为：

等价于

3、不等式约束问题(Inequality constraints)：

原问题：

               

对于不等式约束来说有两种情况：

1）第一种情况是约束条件的图像在内部：

eg:

由于在的内部，此时最优解在他们的原点，这种情况可看成是无约束问题

2）第二种情况为：约束条件的区域与重叠

eg:

与图像有重叠，最终的最优解在约束条件的边界上取得

原问题的拉格朗日函数为：

            

因此有：

综上可得到KKT条件为：

注:称为互补松弛条件