机器学习笔记——支持向量机（V）支持向量回归

回归问题

对于给定的样本 D={(x1,y1),(x2,y2),…,(xm,ym)}，yi∈R
我们希望习得一个回归模型，形如 f(x)=wTx+b 使得 f(x) 和 y 尽可能地接近， w 和 b 是待确定地模型参数。

传统的回归处理方式

对于样本 (x,y) ，传统的回归模型通常直接基于模型输出 f(x) 与真实输出 y 之间的差别来计算损失，当且仅当 f(x) 与 y 完全相同时，损失才为零。

SVR处理方式

支持向量回归(Support Vector Regression)，假设我们能容忍 f(x) 与 y 之间最多有 ϵ 的偏差。
当且仅当模型输出 f(x) 与真实输出 y 的差别绝对值大于 ϵ 时才计算损失。
于是这就相当于是以 f(x) 为中心，构建一个宽度为 2ϵ 的间隔带。若训练样本落入此间隔带内则被认为是预测正确的。
于是SVR问题可以形式化为：

minw,b12||w||2+C∑i=1mℓϵ(f(xi)−yi)(A)

其中 C 为正则化常数， ℓϵ 是 ϵ- 不敏感损失( ϵ- insensitive loss)

ℓϵ={0,|z|−ϵ,if |z|≤ϵ;otherwise

松弛变量

间隔带两侧的松弛程度可有所不同。于是松弛变量 εi 和 ε^i 重写 A

minw,b12||w||2+C∑i=1m(εi+ε^i)s.t. f(xi)−yi≤ϵ+εi,yi−f(xi)≤ϵ+ε^i,εi≥0,ε^i≥0,i=1,2,…,m.

拉格朗日乘子法

L(w,b,α,α^,ε,ε^,μ,μ^)=12||w||2+C∑i=1m(εi+ε^i)−∑i=1mμiεi−∑i=1mμ^iε^i+∑i=1mαi(f(xi)−yi−ϵ−εi)+∑i=1mα^i(yi−f(xi)−ϵ−ε^i)

令 L(w,b,α,α^,ε,ε^,μ,μ^) 对 w,b,εi和ε^i

w0CC=∑i=1m(α^i−αi)xi=∑i=1m(α^i−αi)=αi+μi=α^i+μ^i

SVR对偶问题

maxα,α^ s.t.] ∑i=1myi(α^i−αi)−ϵi(α^i−αi)−12∑i=1m∑j=1m(α^i−αi)(α^j−αj)xTixj∑j=1m(α^i−αi)=0,0≤αi,α^i≤C.