线性可分支持向量机中KKT最有条件理解

KKT最优化条件是Karush[1939]，以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多情况下只记载成库恩塔克条件（Kuhn-Tucker conditions)

库恩塔克条件(Kuhn-Tucker conditions)是非线性规划领域里最重要的理论成果之一，是确定某点为极值点的必要条件。如果所讨论的规划是凸规划，那么库恩-塔克条件也是充分条件。

本文不对数学公式进行详细推导，而是从直观上对KKT条件进行理解。当然KKT条件与拉格朗日乘子是相关联的，看完本文后，可以参阅相关资料。

无约束优化问题的极值（函数的最大值/最小值）通常发生在斜率为零的点上。

 

因此，为了找到极值，我们只需要搜索斜率为零的点。 我们可以用很好的数学形式表达这个属性。

如果 x* 是无约束优化问题的极值， 那么

▽f(x*)=0

等式约束的优化问题

如果x*是等式约束的优化问题的极值, 那么

▽f(x*)=λ×▽g(x*)

g(x*)=0

不等式约束的优化问题

如果x*是不等式约束的优化问题的极值, 那么,

KKT条件:

原可行性:g(x*)≤0对偶可行性: α≥0互补松弛条件:αg(x*)=0拉格朗日平稳性: ▽f(x*)=α×▽g(x*)为了找到具有不等式约束的优化问题的极值，我们需要搜索必须满足所有KKT条件的点(x*)

KKT条件直观理解

1.拉格朗日平稳性：下面显示了具有等式约束的优化问题的等高线图（它是通过绘制