Day05-《西瓜书》-支持向量机(DataWhale)

六、支持向量机

**来源：**https://www.bilibili.com/video/BV1Mh411e7VU?p=9

6.1 间隔与支持向量

​ 训练样本集$D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\},y_i\in \{-1,+1\}$，分类学习的基本思想是：基于训练集D在样本空间中找到一个划分超平面，将不同类型的样本分开。

​ 划分超平面的线性方程：
$$w^{T}x+b=0$$
其中，$w=(w_1,w_2,...,w_d)$为法向量，决定了超平面的方向；$b$ 为位移项，决定了超平面与原点之间的距离。

​ 划分超平面可被法向量 $w$ 和位移 $b$ 确定，记为$(w,b)$。样本空间中任意点$x$到超平面$(w,b)$ 的距离写成
$$r=\frac{|w^{T}x+b|}{||w||}$$

​ 假设超平面$(w,b)$将训练样本正确分类，即对于$(x_i,y_i)\in D$，若$y_i=+1$，则有$w^T{x}_i+b>0$；若$y_i=-1$，则有$w^T{x}_i+b<0$，令：
$$\begin{array}{r}\{\begin{array}{ll}{w}^T{x}_i+b& \ge +1,y_i=+1(6.3)\\ w^T{x}_i+b& \le -1,y_i=-1\end{array}\end{array}$$
​ 则距离超平面最近的几个训练样本点使上式成立，称为”支持向量机“(support vector)，两个异类支持向量机到超平面的距离之和【称为”间隔“(margin)】为：
$$\gamma =\frac{2}{||w||}$$
​ 找具有”最大间隔“的划分超平面，即
$$\begin{array}{rl}& {\max }_{w,b}\frac{2}{||w||}\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}$$

​ 等价于最小化$||w|{|}^2$
$$\begin{array}{rl}& {\min }_{w,b}\frac{1}{2}||w|{|}^2(6.6)\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}$$
​ 上式是支持向量机(Support Vector Machine，SVM)的基础型。

推导：

6.2 对偶问题

​ 对式(6.6)使用拉格朗日乘子法可得到其”对偶问题“(dual problem)
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))(6.8)$$
其中$\alpha =({\alpha }_1,...,{\alpha }_m)$。令$L(w,b,\alpha )$对 $w$ 和 $b$ 的偏导为零，可得
$$
\begin{aligned}
w&=\sum_{i=1}^m\alpha_iy_ix_i ~~~~~(6.9) \
0 &= \sum_{i=1}^m\alpha_iy_i ~~~~~~~~(6.10)

\end{aligned}
KaTeX parse error: Can't use function '$' in math mode at position 17: …将(6.9)带入(6.8)，将$̲L(w,b,\alpha)$ …
\begin{aligned}
&\mathop{max}\alpha ~ \sum{i=1}^m \alpha_i -\frac{1}{2}\sum_{i=1}^m\sum_{j=1}m\alpha_i\alpha_j y_i y_j x_i^Tx_j\
& s.t~\sum_{i=1}^m \alpha_iy_i=0,\
&~~~~~\alpha_i \geq 0, ~~~i=1,2,…,m
\end{aligned}
KaTeX parse error: Can't use function '$' in math mode at position 6: 解出 $̲\alpha$ 后，求出 $w…
\begin{aligned}
f(x) &= w^Tx+b\
&=\sum_{i=1}^{m\alpha_iy_ix_i}Tx+b
\end{aligned}
$$上述过程需要满足KKT条件(Karush-Kuhn-Tucker)，$$
\begin{cases}
\alpha_i \geq 0\
\
y_if(x_i)-1 \geq 0\
\
\alpha_i(y_if(x_i)-1) =0
\end{cases}
$$

使用拉格朗日函数：

6.3 核函数

原始样本空间内不一定存在一个正确划分两类样本的超平面。

针对这个问题，可将样本从原始空间映射到一个更高维的特征空间，使样本在这个特征空间内线性可分。【如果原始空间是有限维，即属性数有限，一定存在一个高维特征空间使样本可分】

常用核函数

【经验：文本数据通常使用线性核，情况不明时尝试高斯核】

（高斯核亦称为RBF核）

核函数还可以通过函数组合得到：

• 若${\kappa }_1$ 和${\kappa }_2$ 为核函数，对于任意正数${\gamma }_1、{\gamma }_2$ 其线性组合${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$也是核函数

• 若${\kappa }_1$ 和${\kappa }_2$ 为核函数，则核函数的直积 ${\kappa }_1\otimes {\kappa }_2(x,z)={\kappa }_1(x,z){\kappa }_2(x,z)$ 也是核函数

• 若 ${\kappa }_1$ 为核函数，则对于任意函数 $g(x)$ ，$\kappa (x,z)=g(x){\kappa }_1(x,z)g(z)$ 也是核函数

6.4 软间隔与正则化

​ 之前一直假定训练样本在样本空间或特征空间中是线性可分的，即存在一个超平面将不同类的样本完成分开，但是实际很难确定合适的核函数使得训练样本在样本空间中线性可分。

​ 缓解该问题的一个方法是：允许支持向量机在一些样本上出错。引入”软间隔“(soft margin)

​ 软间隔允许某些样本不满足约束
$$y_i(w^T{x}_i+b)\ge 1$$
​ 在最大化间隔的同时，不满足约束的样本应尽可能少，优化目标可以写成
$${\min }_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{0/1}(y_i(w^T{x}_i+b)-1)$$
​ 其中$C>0$ 是一个常数，$l_{0/1}$ 是”0/1损失函数“
$$l_{0/1}(z)=\{\begin{array}{l}1,ifz<0;\\ \\ 0,others\end{array}$$
​ 常用的替代损失函数：

• hinge损失：$l_{hinge}(z)=max(0,1-z)$
• 指数损失(exponential loss)：$l_{exp}(z)=exp(-z)$
• 对数损失(logistic loss)：$l_{log}(z)=log(1+exp(-z))$

推导：

6.5 支持向量回归