周志华《机器学习》(西瓜书) —— 学习笔记：第6章 支持向量机

---

6.0 学习导图

---

6.1 基本流程

  给定训练样本集 $D=\left\{\left({\mathbf{x}}_1,y_1\right),\left({\mathbf{x}}_2,y_2\right),\dots ,\left({\mathbf{x}}_m,y_m\right)\right\}，y_i\in \{-1,+1\}$ ，在样本空间中找到一个超平面，将不同类别的样本分开。

  在样本空间中，划分超平面可通过如下线性方程描述：

$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0\text{\hspace{1em}(6.1)}$$

其中 $\mathbf{w}=\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\end{array}\right)$ 为法向量，决定超平面的方向， $b$ 为位移项，决定超平面与原点之间的距离。将超平面简写为 $(\mathbf{w},b)$ 。样本空间中任意点 $\mathbf{x}$ 到超平面 $(\mathbf{w},b)$ 的距离为

$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }\text{\hspace{1em}(6.2)}$$

证：从点 $\mathbf{x}$ 向超平面 $(\mathbf{w},b)$ 做垂线，垂足为 ${\mathbf{x}}_0$ ，令 $\mathbf{r}=\mathbf{x}-{\mathbf{x}}_0$ ，则 $r=\Vert \mathbf{x}-{\mathbf{x}}_0\Vert$ ，显然， $\mathbf{w}$ 平行于 $\mathbf{r}$ ，故有

$$|{\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0)|=|{\mathbf{w}}^{\mathrm{T}}\mathbf{r}|=|\mathbf{w}\cdot \mathbf{r}|=\Vert \mathbf{w}\Vert \Vert \mathbf{r}\Vert =\Vert \mathbf{w}\Vert r$$

又 ${\mathbf{x}}_0$ 在超平面上，故有

$${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0+b=0$$

所以

$$|{\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0)|=|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0|=|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b|$$

联立，可得式(6.2)

  假设超平面 $(\mathbf{w},b)$ 能将训练样本正确分类，即有

$$\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b>0,& y_i=+1\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b<0,& y_i=-1\end{array}$$

则对 $\mathbf{w}$ 和 $b$ 进行等比例缩放，一定能有

$$\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩾+1,& y_i=+1\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩽-1,& y_i=-1\end{array}\text{\hspace{1em}(6.3)}$$

  如图 6.2 所示，距离超平面最近的几个训练样本使式(6.3)的等号成立，它们被称为“支持向量”，两个异类支持向量到超平面的距离之和为

$$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }\text{\hspace{1em}(6.4)}$$

它被称为“间隔”。

  要找到具有“最大化间隔”的划分超平面，也就是要找到能满足式(6.3)中约束的参数 $\mathbf{w}$ 和 $b$ ，使得 $\gamma$ 最大，即

$$\begin{array}{l}{\max }_{w,b}\frac{2}{\Vert \mathbf{w}\Vert }\\ \\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}\text{\hspace{1em}(6.5)}$$

  显然，上式(6.5)与下式(6.6)等价

$$\begin{array}{l}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}\text{\hspace{1em}(6.6)}$$

这就是支持向量机（简称SVM）的基本型。

---

6.2 对偶问题

  求解式(6.6)可得到最大间隔划分超平面所对应的模型

$$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\text{\hspace{1em}(6.7)}$$

其中 $\mathbf{w}$ 和 $b$ 是模型参数。
  式(6.6)是一个凸二次规划，可以利用拉格朗日乘子法得到其“对偶问题”：

• 将式(6.6)写成如下形式

$$\begin{array}{l}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \\ \text{ s.t. }1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩽0,i=1,2,\dots ,m\end{array}\text{\hspace{1em}(6.6)}$$

• 引入拉格朗日乘子 ${\alpha }_i⩾0$ ，得到其拉格朗日函数

$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)，其中，\mathbf{\alpha }=\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_m\end{array}\right)\text{\hspace{1em}(6.8)}$$

• 显然

$$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2=\underset{\mathbf{\alpha }\succcurlyeq 0}{\max }L(\mathbf{w},b,\mathbf{\alpha })$$

• 原问题转化为

$$\underset{\mathbf{w},b}{\min }\underset{\mathbf{\alpha }\succcurlyeq 0}{\max }L(\mathbf{w},b,\mathbf{\alpha })$$

• 其对偶问题为

$$\underset{\mathbf{\alpha }\succcurlyeq 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })$$

• 对 $\mathbf{w}$ 和 $b$ 求偏导令其为 $0$，得到内层取最小值时的解

$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\text{\hspace{1em}(6.9)}$$

$$0=\sum _{i=1}^m{\alpha }_i{y}_i\text{\hspace{1em}(6.10)}$$

• 代回式(6.8)

$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)\\ & =\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i-b\sum _{i=1}^m{\alpha }_i{y}_i\\ & =\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}){\mathbf{x}}_i-0\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\end{array}$$

• 加上约束条件，得到原问题的对偶问题

$$\begin{array}{rl}& \underset{\alpha }{\max }(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j)\\ & \\ & \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0\\ & \\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}\text{\hspace{1em}(6.11)}$$

令 ${\mathbf{\alpha }}^{\ast }$ 是式(6.11)的解，则可得到 $\mathbf{w}$ 和 $b$ 进而得到模型

$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b\end{array}\text{\hspace{1em}(6.12)}$$

一般情况下， ${\max }_{\mathbf{\alpha }\succcurlyeq 0}{\min }_{\mathbf{w},b}L(\mathbf{w},b,\mathbf{\alpha })⩽{\min }_{\mathbf{w},b}{\max }_{\mathbf{\alpha }\succcurlyeq 0}L(\mathbf{w},b,\mathbf{\alpha })$ ，即对偶问题的函数值小于等于原问题的函数值，若要两者相等，需要函数满足 KKT 条件

$$\{\begin{array}{l}{\alpha }_i⩾0\\ \\ y_{i}f\left({\mathbf{x}}_i\right)-1⩾0\\ \\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}\text{\hspace{1em}(6.13)}$$

注：对于拉格朗日乘子法的学习和理解整理在《周志华《机器学习》(西瓜书) ——相关数学知识整理：拉格朗日乘子法与 KKT 条件》中。

解 ${\mathbf{\alpha }}^{\ast }$ 常用 SMO 方法

---

6.3 核函数

  将式(6.7)中的 $\mathbf{x}$ 用 $\varphi (\mathbf{x})$ 代替，常用于将原始输入空间映射到新的高维特征空间，使原本线性不可分的样本在核空间可分。

---

6.4 软间隔与正则化

  所有样本都必须划分正确“硬间隔”，允许一些错误“软间隔”。引入损失函数和松弛变量。

  软间隔增强泛化能力，可防止过拟合，但容易产生欠拟合。

---

6.5 支持向量回归

  将分类模型转化成回归模型：SVR 支持向量回归

---

6.6 核方法

  基于核函数的一系列学习方法：“核方法”