03 SVM - KKT条件

02 SVM - 拉格朗日乘子法

回顾上章，原始问题与对偶问题的关系：

定理：对偶 ≤ 原始

证明

结论：
1、对偶问题小于等于原始问题。
2、当函数满足KKT条件的时候，对偶问题=原始问题。

这章开始介绍KKT条件。

---

KKT条件

KKT条件是泛拉格朗日乘子法的一种形式；主要应用在当我们的优化函数存在不等值约束的情况下的一种最优化求解方式；KKT条件即满足不等式约束情况下的条件。

分析KKT条件

KKT条件理解

回顾 不等式约束的定义：

不等式约束

几何意义

1、可行解必须在约束区域g(x)之内，由图可知可行解x只能在g(x)<0和g(x)=0的区域取得；
(1) 当可行解x在g(x)<0的区域中的时候，此时直接极小化f(x)即可得到；
(2) 当可行解x在g(x)=0的区域中的时候，此时直接等价于等式约束问题的求解。

左: g(x)<0 - 右: g(x)=0

2、当可行解在约束内部区域的时候，令β=0即可消去约束。

公式

3、 对于参数β的取值而言，在等值约束中，约束函数和目标函数的梯度只要满足平行即可，而在不等式约束中，若β≠0，则说明可行解在约束区域的边界上，这个时候可行解应该尽可能的靠近无约束情况下的解，所以在约束边界上，目标函数的负梯度方向应该远离约束区域朝无约束区域时的解，此时约束函数的梯度方向与目标函数的负梯度方向应相同；从而可以得出β>0。

不等式约束，g(x)的梯度和f(x)的负梯度平行，求切点，即是f(x)最小值。

分析几何问题

---

KKT条件总结

1、拉格朗日取得可行解的充要条件；
2、将不等式约束转换后的一个约束，称为松弛互补条件；
3、初始的约束条件；
4、 初始的约束条件；
5.、不等式约束需要满足的条件；

对应的公式

总结

04 SVM - 感知器模型