支持向量机(SVM)第四章---支持向量回归

简单总结一下自己对SVM的认识：有一条带区域，固定差距为1，希望最大化间隔 1||w|| 1 | | w | | 。SVM的特点就是这条带的引入。

SVR同样有这样的一条带，回归的时候，落入带内的点，损失为0，只记录落入带外的点的损失值。

SVR形式化表示：
min1/2||w||2+C∑l(f(xi)−yi) min 1 / 2 | | w | | 2 + C ∑ l ( f ( x i ) − y i )
其中第一项是正则化项，后面的损失函数是 ϵ ϵ -不敏感损失：
if|z|<ϵ i f | z | < ϵ ，l = 0
otherwise o t h e r w i s e , l = |z|−ϵ | z | − ϵ

引入松弛变量，可以重写为：
min1/2||w||2+C∑(ξi+ξ^i) min 1 / 2 | | w | | 2 + C ∑ ( ξ i + ξ ^ i )
s.t.f(xi)−yi≤ϵ+ξi s . t . f ( x i ) − y i ≤ ϵ + ξ i
yi−f(xi)≤ϵ+ξ^i y i − f ( x i ) ≤ ϵ + ξ ^ i
ξi≥0,i=0,...,n ξ i ≥ 0 , i = 0 , . . . , n
ξ^i≥0,i=0,...,n ξ ^ i ≥ 0 , i = 0 , . . . , n

引入拉格朗日乘子，得到原问题的对偶问题：

满足的KKT条件：

其中， α^i−αi≠0 α ^ i − α i ≠ 0 的样本为支持向量，它们必然落在间隔带之外， 落在间隔带内的样本 α^i=0,αi=0 α ^ i = 0 , α i = 0 。SVR的支持向量仅是训练样本的一部分，即其解仍具有稀疏性。