SVM之KKT条件理解

在SVM中,我们的超平面参数最终只与间隔边界上的向量(样本)有关,故称为支持向量机。

求解最优超平面,即求最大化间隔,或最小化间隔的倒数:||w||2/2,约束条件为yi(wTxi+b)>=1

因为此函数为凸函数(拉格朗日乘子法的前提条件),可用拉格朗日乘子法转化为对偶问题,当满足KKT条件时,对偶问题=原始问题。

关于约束:

1. 目标函数极值点在约束范围内:此时不等式约束失效,问题即退化为无约束优化问题。

这个很好理解,函数只有一个极值点,如果在约束范围内,直接对函数求极值点即可。

2. 目标函数极值点在约束范围外:最优解一定在可行域边界; 且满足在该点处的两个函数的梯度方向相反。

关于这点,很多人从梯度方向去解释,其实有个更简单的解释:反证法,目标函数的极值点在约束范围外,假设最优解不在边界,而在约束范围内,那么这个最优解将是另一个极值点,这与凸的目标函数只有一个极值点矛盾,故最优解必在约束边界。

而所谓KKT条件的形式,即以上2点说明的内涵。

转载于:https://www.cnblogs.com/lunge-blog/p/11617047.html

你可能感兴趣的:(数据结构与算法)