数据挖掘十大算法——SVM

SVM两大分支

Support Vector Classifier(SVC)与Support Vector Regressor(SVR)

SVC

函数间隔: minγ=wx+b ,此时如果我们倍增 w,b 可以无限扩大函数间隔,因此,它并不能作为标准
几何间隔,是归一化的函数间隔: minγ=wx+b||w||

为了方便讨论,令几何间隔等于1,有
wxi+b1foryi=+1
wxi+b1foryi=1

线性可分支持向量机(硬间隔)

目标 maxw,b2||w||,s.t.yi(wxi+b)1
等价目标 minw,b12||w||2,s.t.yi(wxi+b)1
针对这个凸二次规划问题,我们可以采用拉格朗日解法
L(w,b,α)=12wTwni=1αi[yi(wxi+b)1]

L(w,b,α)w=0

L(w,b,α)b=0

可得
w=i=1nαiyixi

i=1nαiyi=0

进一步有
maxW(α)=cαi12i=1nj=1nαiαjyiyjxixjs.t.i=1nαiyi=0,αi0
KKTαi[yi(wxi+b)1]=0

对于非支撑向量, αi=0

线性支持向量机(软间隔)

关键:松弛变量
minw,b12||w||2+Cni=1ξi,s.t.yi(wxi+b)1ξi

核函数

你可能感兴趣的:(数据挖掘,算法,svm)