SVM技术详解(下)

1. 对偶问题

max1||w||s.t.,yi(w′xi+b)≥1,i=1,...,n

min12||w||2s.t.,yi(w′xi+b)≥1,i=1,...,n

现在的目标函数是二次的，约束条件是线性的，所以它是一个凸二次规划问题。这个问题可以用现成的QP (Quadratic Programming) 优化包进行求解。

二次规划的一般形式：

minxq(x)=12x′Gx+x′c

s.t.a′ix≥bi

其中 G是 Hessian矩阵， τ 是有限指标集， c ， x 和 ai ，都是R中的向量。如果Hessian矩阵是半正定的，则我们说 （1.1） 是一个凸二次规划，在这种情况下该问题的困难程度类似于线性规划（如果结果为0，二次规划问题就变成线性规划问题了）。如果有至少一个向量满足约束并且在可行域有下界，则凸二次规划问题就有一个全局最小值。如果是正定的，则这类二次规划为严格的凸二次规划，那么全局最小值就是唯一的。如果是一个不定矩阵，则为非凸二次规划，这类二次规划更有挑战性，因为它们有多个平稳点和局部极小值点。

通过给每一个约束条件加上一个拉格朗日乘子（Lagrange multiplier） α ，定义拉格朗日函数（通过拉格朗日函数将约束条件融合到目标函数里）：

ζ(w,b,a)=12||w||2−∑i=0nai(yi(w′xi+b)−1)

θ(w)=maxai≥0ζ(w,b,a)

容易验证，当某个约束条件不满足时，例如 yi(w′xi+b)<1 ,那么显然有 θ(x)=∞ (只要令 ai=∞ 即可）。而当所有条件都满足时，则最优解为 θ(w)=12||w||2 ，亦即最初要最小化的量。

minw,b=minw,bmaxai≥0ζ(w,b,a)=p∗

这里用 p∗ ，表示这个问题的最优值，且和最初的问题是等价的。如果直接求解，那么一上来便得面对 w 和 b 两个参数，而 αi 又是不等式约束，这个求解过程不好做。不妨把最小和最大的位置交换一下，变成：

maxai≥0minw,bζ(w,b,a)=d∗

交换以后的新问题是原始问题的对偶问题，这个新问题的最优值用 d∗ 来表示。而且有 d∗≤p∗ ,在满足某些条件的情况下，这两者相等.

2. KTT条件

凸优化的概念： χ⊂Rn 为一凸集， f:χ→R 为一凸函数。凸优化就是要找出一点 x∗∈χ 使得每一 x∈χ ，满足 f(x∗)≤f(x) .
KKT条件的意义：它是一个非线性规划（Nonlinear Programming）问题能有最优化解法的必要和充分条件。

原始问题通过满足KKT条件，已经转化成了对偶问题。而求解这个对偶学习问题，分为3个步骤：首先要让 ζ(w，b，a) 关于 w 和 b 最小化，然后求对的极大，最后利用SMO算法求解对偶问题中的拉格朗日乘子。

3. 线性不可分的推广——引进核函数Kernel

在线性不可分的情况下，支持向量机首先在低维空间中完成计算，然后通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超平面，从而把平面上本身不好分的非线性数据分开，如下图所示的两类数据，分别分布为两个圆圈的形状，这样的数据本身就是线性不可分的，此时该如何把这两类数据分开呢

如果我们做一个映射 ϕ:R2→R5 ，将 X 按照上面的规则映射为 Z ，那么在新的空间中原来的数据将变成线性可分的，从而使用之前我们推导的线性分类算法就可以进行处理了。
通过引进从输入空间 X 到另一个高维的 Hilbert 空间 H 的变换 将原输入空间 λ 的训练集:

T={(x1,y1),(x2,y2),...,(xl,yl)}∈(X×Y)l

转化为 Hilbert 空间 H 中的新的训练集：

T¯={(x¯1,y1),(x¯2,y2),...,(x¯l,yl)}={(θ(x1),y1),(θ(x2),y2),...,(θ(xl),yl)}

使其在 Hilbert 空间 H 中线性可分， Hilbert 空间 H 也称为特征空间。然后在空间 H 中求得超平面 (ω∗ϕ(x))+b=0 ，这个超平面可以硬性划分训练集 T ，于是原问题转化为如下的二次规划问题