KKT Condition

对于原优化问题:

其拉格朗日函数如下:

其中 为拉格朗日算子

定义

 对于给定的w,如果原问题的约束没有被满足(例如对于某个i:)或者,可以得知

 相反,如果对于给定的w,primal的约束被满足,那么,即:

如下最小化primal问题与原问题具有同样的解

定义,注意是针对的优化(求最大),对w优化(最小化).我们可以将对偶优化问题定义为

我们可以定义为primal最小化问题的值,为dual问题的值.他们的关系如下(一个函数的"max min总是小于min max"):

 只有在KKT条件下:,在这种条件下,我们就可以通过求解对偶(dual)问题来求解原(primal)问题.

假设都是凸函数,都是仿射的,同时假设存在w使得,那么一定存在满足Karush-Kuhn-Tucker(KKT)条件,同时也是primal和dual问题的解.KKT条件如下:

 

KKT直观理解

 

先补充说明向量的内积和直线的线性表示

这条直线斜率垂直的方向是w. 

例如:斜率的垂直方向是(1,1).

 

 

 

通过对偶问题可以采用SMO算法求出的值,得到自然可以得到w的值,得到w后,通过,求得的值,的值为负边界的b加上正边界的b除以2.负边界的b为,正边界的b为,,可以推倒出的值为: