【机器学习】支持向量机【下】软间隔与核函数

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【机器学习】拉格朗日对偶性
【机器学习】核函数

由于字数限制，分成两篇博客。
【机器学习】支持向量机【上】硬间隔
【机器学习】支持向量机【下】软间隔与核函数

线性支持向量机

软间隔最大化

在实际中，线性可分属于比较理想的情况，大多数数据都是线性不可分的，这时可以修改硬间隔最大化，使其成为软间隔最大化，来处理线性不可分问题。这里所谓的“线性不可分”是指，训练数据中有一些特异点（outlier），将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的。

线性不可分意味着某些样本点 $(x_i,y_i)$ 不能满足约束条件 $y_i(w^T{x}_i+b)\ge 1$。为了解决这个问题，可以对每个样本点 $(x_i,y_i)$ 引进一个松弛变量 $\xi \ge 0$，使约束条件变为
$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$
对每一个松弛变量 ${\xi }_i$，支付一个代价 ${\xi }_i$。目标函数由原来的 $\frac{1}{2}||w|{|}^2$ 变为
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i\text{\hspace{1em}(9)}$$
其中，$C>0$ 称为惩罚（超）参数，一般根据应用问题人为决定，$C$ 值越大对误分类的惩罚越大。最小化目标函数式 $(9)$ 包含两层含义：使 $\frac{1}{2}||w|{|}^2$ 尽量小即间隔尽量大，同时使误分类点的个数尽量少，$C$ 是调和二者的系数。

基于上面允许误分类的思想，对于线性不可分的支持向量机学习问题，我们可以采用与线性可分时类似的学习过程。

定义原始问题：
$$\begin{array}{ccc}& {\min }_{w,b,\xi }\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^n{\xi }_i& \\ & & \\ s.t.& y_i(w^T{x}_i+b)\ge 1-{\xi }_i,& i=1,2,\dots ,n\\ & {\xi }_i\ge 0,& i=1,2,\dots ,n\end{array}\text{\hspace{1em}(10)}$$
原始问题式 $(10)$ 是一个凸二次规划问题，因而关于 $(w,b,\xi )$ 的最优解是存在的。而且 $w$ 的最优解是唯一的，但 $b$ 的最优解可能不唯一，而是存在于一个区间。假设最优解为 $w^{\ast }$ 和 $b^{\ast }$，于是可以得到划分超平面 ${w^{\ast }}^{T}x+b^{\ast }=0$ 及分类决策函数 $f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({w^{\ast }}^{T}x+b^{\ast })$。称这样的模型为训练样本线性不可分时的线性支持向量机，简称为线性支持向量机。

对偶问题

构建广义拉格朗日函数
$$L(w,b,\xi ,\alpha ,\beta )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)-\sum _{i=1}^n{\beta }_i{\xi }_i$$
其中，拉格朗日乘子 ${\alpha }_i\ge 0$，${\beta }_i\ge 0$。

首先求 $L(w,b,\xi ,\alpha ,\beta )$ 对 $w$，$b$ 和 $\xi$ 的极小，由
$$\begin{gathered} {\nabla }_{w}L(w,b,\xi ,\alpha ,\beta )=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\beta )=-\sum _{i=1}^n{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\beta )=C-{\alpha }_i-{\beta }_i=0 \end{gathered}$$
可得
$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(11)}$$

$$\sum _{i=1}^n{\alpha }_i{y}_i=0\text{\hspace{1em}(12)}$$

$$C-{\alpha }_i-{\beta }_i=0\text{\hspace{1em}(13)}$$

将式 $(11)\sim (13)$ 代入拉格朗日函数中得
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\beta )=-\frac{1}{2}\sum _{i=1}^n\sum _{i=1}^n{\alpha }_i{\alpha }_j{y}_u{y}_j(x_i^T{x}_j)+\sum _{i=1}^n{\alpha }_i$$
再对 $\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\beta )$ 求 $\alpha$ 和 $\beta$ 的极大。显然这已经与 $\beta$ 无关，得到对偶问题：
$$\begin{array}{ll}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^n\sum _{i=1}^n{\alpha }_i{\alpha }_j{y}_u{y}_j(x_i^T{x}_j)+\sum _{i=1}^n{\alpha }_i\\ & \\ s.t.& \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\beta }_i=0\\ & {\alpha }_i\ge 0\\ & {\beta }_i\ge 0,i=1,2,\dots ,n\end{array}\text{\hspace{1em}(14)}$$
对对偶问题式 $(14)$ 进行变形：利用等式约束 $C-{\alpha }_i-{\beta }_i=0$ 消去 ${\beta }_i$，从而只留下变量 ${\alpha }_i$，并将后三条约束共同表达为
$$0\le {\alpha }_i\le C$$
最终将问题从求极大转化为求极小，得
$$\begin{array}{cc}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_u{y}_j(x_i^T{x}_j)-\sum _{i=1}^n{\alpha }_i\\ & \\ s.t.& {\sum }_{i=1}^n{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,n\end{array}\text{\hspace{1em}(15)}$$
由于问题具有强对偶性，所以 KKT 条件成立，即得
$$\begin{gathered} y_i({w^{\ast }}^T{x}_i+b^{\ast })-1+{\xi }_i^{\ast }\ge 0 \\ {\xi }_i^{\ast }\ge 0 \end{gathered}$$

$$\begin{gathered} {\nabla }_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=w^{\ast }-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i=0 \\ \text{\hspace{1em}(16)} \end{gathered}$$

$${\nabla }_{b}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i=0$$

$${\nabla }_{\xi }L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=C-{\alpha }^{\ast }-{\beta }^{\ast }=0\text{\hspace{1em}(17)}$$

$$\begin{gathered} {\alpha }_i^{\ast }\ge 0 \\ {\beta }_i^{\ast }\ge 0 \end{gathered}$$

$${\alpha }_i^{\ast }(y_i({w^{\ast }}^T{x}_i+b^{\ast })-1+{\xi }_i^{\ast })=0\text{\hspace{1em}(18)}$$

$${\beta }_i^{\ast }{\xi }_i^{\ast }=0\text{\hspace{1em}(19)}$$

由式 $(16)$ 可知
$$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(20)}$$
若存在 ${\alpha }_j^{\ast }$，$0<{\alpha }_j^{\ast }<C$，根据式 $(18)$ 可知 $y_i({w^{\ast }}^T{x}_i+b^{\ast })-1+{\xi }_i^{\ast }=0$；根据式 $(17)$ 可知 ${\beta }_i^{\ast }=C-{\alpha }_i^{\ast }\ne 0$，所以由式 $(19)$ 可得 ${\xi }_i^{\ast }=0$，则 $y_i({w^{\ast }}^T{x}_i+b^{\ast })-1=0$，故可得
$$b^{\ast }=y_j-\sum _{i=1}^n{y}_i{\alpha }_i^{\ast }(x_i^T{x}_j)\text{\hspace{1em}(21)}$$
由此，划分超平面可以写为
$$\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i^{T}x)+b^{\ast }=0$$
分类决策函数可以写为
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i^{T}x)+b^{\ast })$$
上式称为线性支持向量机的对偶形式。线性支持向量机学习算法如下。

$$\begin{array}{ll}\text{输入:}& 训练集D=\{(x_1,y_1),\cdot \cdot \cdot ,(x_n,y_n)\},其中x_i\in {\mathbb{R}}^d,y_i\in \{+1,-1\},i=1,\dots ,n\\ \text{过程:}& \end{array}$$

$$\begin{array}{rl}1:& 选择惩罚参数C>0,构造并求解凸二次规划问题\\ & \\ & \begin{array}{ccc}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)-\sum _{i=1}^n{\alpha }_i& \\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0& \\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,n& \\ & & \end{array}\\ & 求得最优解{\alpha }^{\ast }=\{{\alpha }_i^{\ast }\},i=1,2,\dots ,n\\ 2:& 计算\\ & \\ & \begin{array}{ccc}& & w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i\end{array}\\ & \\ 3:& 选择0<{\alpha }_j^{\ast }<C,计算\\ & \\ & \begin{array}{ccc}& & b^{\ast }=y_j-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i^T{x}_j)\end{array}\\ & \\ 4:& 求得划分超平面\\ & \\ & \begin{array}{ccc}& & {w^{\ast }}^{T}x+b^{\ast }=0\end{array}\\ & \\ & 分类决策函数\\ & \\ & \begin{array}{ccc}& & f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({w^{\ast }}^{T}x+b^{\ast })\end{array}\end{array}$$

$$\begin{array}{lcccccccccccccccccc}\text{输出:}划分超平面和分类决策函数& & & & & & & & & & & & & & & & & & \end{array}$$

算法 2    线性支持向量机学习算法

支持向量

在线性不可分的情况下，将对偶问题式 $(15)$ 的解 ${\alpha }^{\ast }=\{{\alpha }_i^{\ast }\}$ 中对应于 ${\alpha }_i^{\ast }>0$ 的样本点 $(x_i,y_j)$ 的实例 $x_i$ 称为支持向量（软间隔的支持向量）。如图 $3$ 所示，这时的支持向量要比线性可分时的情况复杂一些。图中，划分超平面由实线表示，间隔边界由虚线表示，正样本由“o”表示，负样本由“×”表示。图中还标出了样本 $x_i$ 到间隔边界的距离 $\frac{{\xi }_i}{||w||}$ 。

图 3    软间隔的支持向量

软间隔的支持向量 $x_i$ 或者在间隔边界上，或者在间隔边界与划分超平面之间，或者在划分超平面误分一侧。由式 $(17)$ 和 $(19)$ 可得，若 ${\alpha }_i^{\ast }<C$，则 ${\xi }_i=0$，支持向量 $x_i$ 恰好落在间隔边界上；若 ${\alpha }_i^{\ast }=C$，$0<{\xi }_i<1$，则分类正确，$x_i$ 在间隔边界与划分超平面之间；若 ${\alpha }_i^{\ast }=C$，${\xi }_i=1$，则 $x_i$ 在划分超平面上；若 ${\alpha }_i^{\ast }=C$， ${\xi }_i>1$，则 $x_i$ 位于划分超平面误分一侧。

合页损失函数

还可以从另一个角度解释线性支持向量机学习。定义损失函数为划分错误的样本个数，即
$$J(w,b)=\sum _{i=1}^{n}1\{y_i(w^T{x}_i+b)<1\}$$
其中，$1\{\cdot \}$ 的作用类似于艾弗森括号，即括号内为真返回 $1$，否则返回 $0$。显然，函数 $J$ 非连续，且存在跳跃，数学性质不好，不便于求导。故将损失函数 $J$ 重新定义
$$J(w,b)=\sum _{i=1}^n[1-y_i(w^T{x}_i+b){]}_{+}$$
其中，函数 $[z{]}_{+}$ 为合页函数（hinge function）
$$[z{]}_{+}=\{\begin{array}{cc}z,& z>0\\ 0,& z\le 0\end{array}$$
也可以等价表示为
$$[z{]}_{+}=\max (0,z)$$
函数 $J$ 加上正则化项后定义为最终损失函数 $L$
$$\begin{array}{rl}L(w,b)& =J(w,b)+\lambda ||w|{|}^2\\ & =\sum _{i=1}^n[1-y_i(w^T{x}_i+b){]}_{+}+\lambda ||w|{|}^2\end{array}$$
因此我们的优化目标为
$$\underset{w,b}{\min }\sum _{i=1}^n[1-y_i(w^T{x}_i+b){]}_{+}+\lambda ||w|{|}^2\text{\hspace{1em}(22)}$$
观察损失函数 $L$，当样本点 $(x_i,y_i)$ 被正确分类且确信度 $y_i(w^T{x}_i+b)$ 大于 $1$ 时，损失为 $0$，否则损失为 $1-y_i(w^T{x}_i+b)$。注意到图 $3$ 中的样本点 $x_4$ 被正确分类，但损失不是 $0$。损失函数的第二项是系数为 $\lambda$ 的 $w$ 的 $L_2$ 范数，是正则化项。

可以很容易证明优化问题 $(22)$ 与原始问题 $(10)$ 等价。令
$$[1-y_i(w^T{x}_i+b){]}_{+}={\xi }_i$$
则 ${\xi }_i\ge 0$，式 $(10)$ 中的第二个不等式约束成立。由上式，当 $1-y_i(w^T{x}_i+b)>0$ 时，有 $y_i(w^T{x}_i+b)=1-{\xi }_i$；当 $1-y_i(w^T{x}_i+b)\le 0$ 时，${\xi }_i=0$，有 $y_i(w^T{x}_i+b)\ge 1-{\xi }_i$。故式 $(10)$ 中的第一个不等式约束成立。于是 $w$，$b$ 和 ${\xi }_i$ 满足式 $(10)$ 的约束条件，所以最优化问题 $(22)$ 可以写成
$$\underset{w,b}{\min }\sum _{i=1}^n{\xi }_i+\lambda ||w|{|}^2$$
若取 $\lambda =\frac{1}{2C}$，则
$$\underset{w,b}{\min }\frac{1}{C}(\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i)$$
与原始问题 $(10)$ 等价。反之，也可以将优化问题 $(22)$ 表示成问题 $(10)$。

合页损失函数 $L(y(x^{T}x+b))$ 的图形如图 $4$ 所示，横轴为 $y(w^{T}x+b)$，纵轴为损失。由于函数形状像一个合页，故名合页损失函数。图中还画出了出 $01$ 损失函数，可以认为它是二类分类问题的真正的损失函数，而合页损失函数是 $0\text{~}1$ 损失函数的上界。由于 $0\text{~}1$ 损失函数是跳跃的，不利于求导，直接优化由其构成的目标函数比较困难，可以认为线性支持向量机是优化由 $0\text{~}1$ 损失函数的上界（合页损失函数）构成的目标函数。这时的上界损失函数又称为代理损失函数（surrogate loss function）。

图 4    合页损失函数

图 $4$ 中虚线显示的是感知机的损失函数 $[-y_i(w^T{x}_i+b){]}_{+}$。这时，当样本点 $(x_i,y_i)$ 被正确分类时，损失为 $0$，否则损失是 $-y_i(w^T{x}_i+b)$。相比之下，合页损失函数不仅要分类正确，而且确信度足够高时损失才为 $0$。也就是说，合页损失函数对学习有更高的要求。

将式 $(15)$ 与硬间隔对偶问题对比可以看出，二者唯一的差别就在于对偶变量的约束不同：前者是 $0\le {\alpha }_i$，后者是 $0\le {\alpha }_i\le C$。因此，在引入核函数后，硬间隔和软间隔能够得到同样形式的决策函数。

非线性支持向量机

我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数（划分超平面）都只涉及输入样本与样本之间的内积。在对偶问题的目标函数 $(15)$ 中的内积 $x_i^T{x}_j$ 可以用核函数 $K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$ 来代替。此时对偶问题的目标函数成为
$$\begin{array}{rl}W(\alpha )& =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_u{y}_j(\varphi (x_i{)}^T\varphi (x_j))-\sum _{i=1}^n{\alpha }_i\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_u{y}_{j}K(x_i,x_j)-\sum _{i=1}^n{\alpha }_i\end{array}$$
同样，分类决策函数中的内积也可以用核函数替代，而分类决策函数成为
$$\begin{array}{rl}f(x)& =\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\right(\varphi (x_i{)}^T\varphi (x))+b^{\ast })\\ & =\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })\end{array}$$
这等价于经过映射函数 $\varphi$ 将原来的输入空间变换到一个新的特征空间，将输入空间中的内积 $x_i^T{x}_j$ 变换为特征空间中的内积 $\varphi (x_i{)}^T\varphi (x_j)$，在新的特征空间里从训练样本中学习线性支持线性向量机。当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型。

也就是说，在核函数 $K(x,z)$ 给定的条件下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间进行的，不需要显式地定义特征空间和映射函数。这样的技巧称为核技巧，它是巧妙地利用线性分类学习方法与核函数解决非线性问题的技术。在实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。

非线性支持向量机学习算法如下。

$$\begin{array}{ll}\text{输入:}& 线性可分训练集D=\{(x_1,y_1),\cdot \cdot \cdot ,(x_n,y_n)\},其中x_i\in {\mathbb{R}}^d,y_i\in \{+1,-1\},i=1,\dots ,n\\ \text{过程:}& \end{array}$$

$$\begin{array}{rl}1:& 选取适当的核函数K(x,z)和适当的参数C,构造并求解最优化问题\\ & \\ & \begin{array}{ccc}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)-\sum _{i=1}^n{\alpha }_i& \\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0& \\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,n& \\ & & \end{array}\\ & 求得最优解{\alpha }^{\ast }=\{{\alpha }_i^{\ast }\},i=1,2,\dots ,n\\ 2:& 计算\\ & \\ & \begin{array}{ccc}& & w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i\end{array}\\ & \\ 3:& 选择{\alpha }_j^{\ast }>0,计算\\ & \\ & \begin{array}{ccc}& & b^{\ast }=y_j-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x_j)\end{array}\\ & \\ 4:& 分类决策函数\\ & \\ & \begin{array}{ccc}& & f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }\right)\end{array}\end{array}$$

$$\begin{array}{lcccccccccccccccccc}\text{输出:}分类决策函数& & & & & & & & & & & & & & & & & & \end{array}$$

算法 3    非线性支持向量机学习算法

REF

[1]《统计学习方法（第二版）》李航著

[2]《机器学习》周志华著

[2] 机器学习-白板推导系列(六)-支持向量机SVM（Support Vector Machine）- bilibili

[3] 机器学习-白板推导系列(六)-支持向量机SVM（Support Vector Machine）- 知乎

[4] 【机器学习】拉格朗日对偶性 - CSDN