svm中拉格朗日对偶问题的推导

原始问题：      

应用拉格朗日对偶性，求解最优解，对偶问题比较容易求解，可以引入核函数，推广到非线性问题。

构造拉格朗日函数：

我们所求的问题为：

转为为对偶问题为：

如果原问题与对偶问题解相同，则需要满足KKT条件：

首先求解

对求偏导，令偏导为0，得到：

对求偏导,令偏导为0，得到

将偏导为0的结果代入到中，得到：

然后我们需要求解的问题为，即：

设为对偶最优问题的解

由KKT中剩余条件知

从而得到分离超平面为：

SVM学习算法：

1. 构造求解最优化问题，求得最优解
2. 计算
3. 分类决策函数：

小tips

对于的实例，称该实例为支持向量

原因：得到：