数据挖掘十大算法——SVM

SVM两大分支

Support Vector Classifier（SVC）与Support Vector Regressor（SVR）

SVC

函数间隔： minγ=wx+b ，此时如果我们倍增 w,b 可以无限扩大函数间隔，因此，它并不能作为标准
几何间隔，是归一化的函数间隔： minγ=wx+b||w||

为了方便讨论，令几何间隔等于1，有
wxi+b≥1foryi=+1
wxi+b≤−1foryi=−1

线性可分支持向量机（硬间隔）

目标 maxw,b2||w||,s.t.yi(wxi+b)≥1
等价目标 minw,b12||w||2,s.t.yi(wxi+b)≥1
针对这个凸二次规划问题，我们可以采用拉格朗日解法
L(w,b,α)=12wTw−∑ni=1αi[yi(wxi+b)−1]
令

∂L(w,b,α)∂w=0

∂L(w,b,α)∂b=0

可得

w=∑i=1nαiyixi

∑i=1nαiyi=0

进一步有

maxW(α)=cαi−12∑i=1n∑j=1nαiαjyiyjxixjs.t.∑i=1nαiyi=0,αi≥0

KKT补充条件αi[yi(wxi+b)−1]=0

对于非支撑向量， αi=0

线性支持向量机（软间隔）

关键：松弛变量
minw,b12||w||2+C∑ni=1ξi,s.t.yi(wxi+b)≥1−ξi

核函数