【西瓜书】第六章支持向量机---学习笔记

1.间隔与支持向量

1.1算法原理：

对于线性可分数据集，从几何角度，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，泛化性能更好。

1.2点$x$到超平面的距离

$r=\frac{|w^{T}x+b|}{||w||}$,
假设超平面$(w,b)$能将训练样本正确分类，即对于$(x_i,y_i)\in D$,则若$y_i=+1$,有$w^T{x}_i+b>0$;则若$y_i=-1$,有$w^T{x}_i+b<0$;
两个异类支持向量到超平面的距离之和为:
$r=\frac{2}{||w||}$

为了最大化间隔，仅需要最大化$||w|{|}^{-1}$于是支持向量机的基本型为：

2.对偶问题

最大间隔划分超平面的模型：
$f(x)=w^{T}x+b$,其中$w和b$是模型参数，对每条约束添加拉格朗日乘子${\alpha }_i\ge 0$该问题的拉格朗日函数可写为：
$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b))$
其中$\alpha =({\alpha }_1;{\alpha }_2;...;{\alpha }_m;)$.令$L(w,b,\alpha )$对$w$和$b$的偏导为零可得：
$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$
消去$w和b$,再考虑约束就可以得到对偶问题
$ma{x}_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

3.核函数

现实中,"异或"问题不线性可分,如下图

解决方法:将样本从原始空间映射到 一个更高维的特征空间,使得
样本在这个特征空间内线性可分.
令$\varphi (x)$表示将$x$映射后的特征向量,于是,在特征空间中划分超平面所对应的模型可表示为
$f(x)=w^T\varphi (x)+b$

其对偶问题是:


求解后可得到


只要一个对称函数所对应的核矩阵半正定，它就能作为核
函数使用
此外，还可通过函数组合得到

4.软间隔与正则化

抛出问题:在现实任务中,往往很难确定合适的核函数使得训练样本在特征空间中线性可分.
解决办法:允许支持向量机在一些样本上出错,为此称为"软间隔"

$mi{n}_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i(w^T{x}_i+b)-1)$
其中C>0是一个常数,${\ell }_{0/1}是损失函数$

${\ell }_{0/1}(z)=\{\begin{array}{ll}1& x<0\\ 0& x\ge 0\end{array}$
显然,当C为无穷大时,迫使是所有样本满足约束;C取有限值时,允许一些样本不满足约束.

常用的软间隔支持向量机

5.支持向量回归

支持向量回归假设$f(x)$与真实输出y之间最多有$ϵ$的偏差.

SVR的问题可形式化:

SVR可以表示为

6.核方法