《统计学习方法》Chapter.7 支持向量机（SVM）

支持向量机

支持向量机是二分类模型，与感知机思想类似，都是寻找一条分离超平面能够将数据分成两类，在线性可分数据集中，这种分离超平面有无数条，感知机只要求能够从无数条分离超平面中找到一条，而支持向量机要求能够从无数种分离超平面中找到“最优”的那一条。

支持向量机可以根据数据的分布从简单模型推广到复杂模型：

• 当数据集线性可分时，利用最简单的线性可分支持向量机即可；
• 当数据集线性不可分，但是近似线性可分，就引出了加入软间隔的线性支持向量机；
• 当数据集的分布不是近似线性的，就引出了加入核函数的非线性支持向量机

线性可分支持向量机

整体思想

假设有线性可分数据集:
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$
其中,$x_i\in {\mathrm{R}}^n$,$y_i\in \{+1,-1\}$,$i=1,2,...,N$.

线性可分支持向量机的目标是在特征空间中找到一个分离超平面，能够将实例分到不同的类。分离超平面对应于方程$w\cdot x+b=0$，规定法向量$w$指向的一侧为正类，另一侧为负类。

给定线性可分数据集，利用间隔最大化原则求解最优分离超平面，假设为：
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数:
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$$

此模型即为线性可分支持向量机，他对应着将两类数据正确分类且间隔最大的分离超平面。

间隔最大化

间隔的定义

空间中点$x^{\ast }$到超平面$w\cdot x+b=0$的距离公式：
$$dist=\frac{|w\cdot x^{\ast }+b|}{|w|}$$

函数间隔

在超平面$w\cdot x+b=0$给定的情况下,$|w\cdot x+b|$能够相对的代表$x$距离超平面的远近，而$w\cdot x+b$的正负与类标记$y$的符号是否一致能够表示分类是否正确，因此可以用$y(w\cdot x+b)$表示分类的正确性（正数分类正确，负数分类错误）以及距离超平面的远近程度。

因此对于超平面$w\cdot x+b=0$以及样本点$(x_i,y_i)$定义函数间隔为：
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$
定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面关于$T$中所有样本点的函数间隔的最小值：
$$\hat{\gamma }=\underset{i=1,...,N}{\min }\widehat{{\gamma }_i}$$
函数间隔的缺点：成比例的更改$w$和$b$，例如改成$2w$和$2b$，超平面并没有改变，但函数间隔变为了原来的两倍。

为了解决这个问题，因此可以将$w$加一些约束，例如规定$||w||=1$，使得每个超平面对应一个间隔，这时函数间隔变为几何间隔。

几何间隔

其实几何间隔就是添加了正负号的空间中点到超平面的距离公式，在上述条件下，样本点$(x_i,y_i)$关于超平面的几何间隔定义如下：
$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$
定义超平面$(w,b)$关于训练数据集$T$的几何间隔为超平面关于$T$中所有样本点的几何间隔的最小值：
$$\gamma =\underset{i=1,...,N}{{\gamma }_i}$$

函数间隔与几何间隔的关系

$$\begin{gathered} {\gamma }_i=\frac{\widehat{{\gamma }_i}}{||w||} \\ \gamma =\frac{\hat{\gamma }}{||w||} \end{gathered}$$

间隔最大化

支持向量机的基本思想就是求解能够正确划分数据集且几何间隔最大的分离超平面

原始问题

为了求得几何间隔最大的分离超平面，即最大间隔分离超平面，可以构建如下模型：
$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & \mathrm{s}.\mathrm{t}.y_i\left(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}\right)\ge \gamma ,i=1,2,...N\end{array}$$
考虑几何间隔与函数间隔的关系，可以得到如下：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ & \mathrm{s}.\mathrm{t}.y_i\left(w\cdot x_i+b\right)\ge \hat{\gamma },i=1,2,...N\end{array}$$
由于成比例的更改$w,b$为$\lambda w,\lambda b$，函数间隔$\hat{\gamma }$相应变为$\lambda \hat{\gamma }$，因此可以令$\lambda =\frac{1}{\hat{\gamma }}$，又由于最大化$\frac{1}{||w||}$与最小化$\frac{1}{2}||w|{|}^2$等价则问题变成凸二次规划问题：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & \mathrm{s}.\mathrm{t}.y_i\left(w\cdot x_i+b\right)\ge 1,i=1,2,...N\end{array}$$

对偶问题

为了求解上述凸二次规划问题，可以利用拉格朗日对偶性，通过求解对偶问题的最优解，得到原始问题的最优解。这样求解有一下两个优点：

1. 对偶问题更容易求解
2. 方便后续引入核函数，推广到非线性分类问题

首先构造拉格朗日函数，引入拉格朗日乘子$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$,${\alpha }_i\ge 0,i=1,2,...,N$，定义拉格朗日函数:
$$L(w,b,a)=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$
原始问题可以表示为极小极大问题:
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
为了得到对偶问题的解，需要先求$L(w,b,\alpha )$对$w,b$的极小，再求对$\alpha$的极大。

(1) 求$\underset{w,b}{\min }L(w,b,\alpha )$

将$L(w,b,\alpha )$分别对$w,b$求偏导并令其等于$0$得：
$$\begin{array}{rl}& {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & {\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & \Rightarrow \\ & w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
带入$L(w,b,\alpha )$中得：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$
即
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
(2) 求$\underset{w,b}{\min }L(w,b,\alpha )$对$\alpha$的极大:
$$\begin{array}{r}\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,...,N\end{array}$$
即:
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,...,N\end{array}$$
考虑原始最优化问题和对偶最优化问题，显然原始问题满足目标函数$\frac{1}{2}||w|{|}^2$是凸函数，约束函数$1-y_i\left(w\cdot x_i+b\right)$是凸函数，且存在点$w,b$使得约束函数不等号成立（即严格可行）,则根据定理（统计学习方法附录C，定理C.2）存在$w^{\ast },b^{\ast },{\alpha }^{\ast }$使得$w^{\ast },b^{\ast }$是原始问题的最优解，${\alpha }^{\ast }$是对偶问题的最优解，且：
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )=\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )=L(w^{\ast },b^{\ast },{\alpha }^{\ast })$$
这意味着，求解原始问题可以转化为求解对偶问题.

定理：设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_1^{\ast },...,{\alpha }_N^{\ast })$是对偶问题的解，则存在下标$j$，使得${\alpha }_j^{\ast }>0$，并可按下式求得原始最优化问题的解$w^{\ast },b^{\ast }$:
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$
证明：

原始问题满足目标函数$\frac{1}{2}||w|{|}^2$是凸函数，约束函数$1-y_i\left(w\cdot x_i+b\right)$是凸函数，且存在点$w,b$使得约束函数不等号成立（即严格可行）,存在$w^{\ast },b^{\ast },{\alpha }^{\ast }$使得$w^{\ast },b^{\ast }$是原始问题的最优解，${\alpha }^{\ast }$是对偶问题的最优解，则根据定理（统计学习方法附录C，定理C.3）KKT条件成立，即：
$$\begin{array}{rl}& {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ & {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ & {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)=0,i=1,2,...,N\\ & \\ & y_i(w^{\ast }\cdot x_i+b^{\ast })-1)\ge 0,i=1,2,...,N\\ & \\ & {\alpha }_i^{\ast }\ge 0,i=1,2,...,N\end{array}$$
由此得：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
其中至少有一个${\alpha }_j^{\ast }>0$，对此$j$有
$$\begin{gathered} y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0 \\ \Rightarrow \\ {y}_j^2(w^{\ast }\cdot x_j+b^{\ast })-y_j=0 \\ \Rightarrow \\ (w^{\ast }\cdot x_j+b^{\ast })-y_j=0 \\ \Rightarrow \\ {b}^{\ast }=y_j-w^{\ast }\cdot x_j \\ \Rightarrow \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$
由此，分离超平面可以写成：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast }=0$$
分类决策函数为：
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast }\right)$$

算法（线性可分支持向量机学习算法）

输入：线性可分训练集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i\in R^n$，$y_i\in \{+1,-1\},i=1,2,...,N$;

输出：分离超平面和分类决策函数。

(1) 构造约束最优化问题
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,...,N\end{array}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$.

(2) 计算
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
选择一个${\alpha }^{\ast }$的正分量${\alpha }_i^{\ast }>0$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
(3) 求得分类超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$$

间隔最大化超平面的存在唯一性

线性可分训练集的最大分隔分离超平面是存在且唯一的。

支持向量与间隔边界

图1 支持向量与间隔边界

支持向量

在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量，即支持向量也是使原始问题中约束条件等号成立的点，即$y_i(w\cdot x_i+b)-1=0$，在对偶问题中，支持向量对应的${\alpha }_i^{\ast }>0$.

间隔边界

与分离超平面平行的两个超平面，即为原始问题中约束条件等式成立对应的超平面
$$\begin{array}{rl}& H_1:w\cdot x+b=1\\ & H_2:w\cdot x+b=-1\end{array}$$

间隔

间隔边界之间的距离，即为$\frac{2}{||w||}$.

线性支持向量机

对于线性不可分的数据，推广出了线性支持向量机模型

线性支持向量机的构造

原始问题

假定特征空间上的训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$
其中,$x_i\in R^n,y_i\in \{+1,-1\},i=1,2,...,N$,$x_i$为第$i$个特征向量，$y_i$为$x_i$的类标记，该数据集是线性不可分的，但是在出去一些特异点后，剩下的大部分样本点组成的集合是线性可分的。

线性不可分意味着某些样本点的函数间隔不能满足大于等于1的约束，为了解决这个问题，在每个样本点$(x_i,y_i)$引入一个松弛变量${\xi }_i\ge 0$，将约束条件变为：
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$
同时，对每个松弛变量${\xi }_i$支付一个代价。目标函数由原来的$\frac{1}{2}||w|{|}^2$变成
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
这里$C>0$称为惩罚参数，$C$大时对误分类的惩罚增大，$C$小时对误分类的惩罚减小。

根据上述思路，可以利用线性可分时的间隔最大化思想进行学习，由于这里为样本点添加了松弛变量，因此称为软间隔最大化。

原始问题
$$\begin{array}{r}\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2-C\sum _{i=1}^N{\xi }_i\\ \mathrm{s}.\mathrm{t}.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N\\ {\xi }_i\ge 0,i=1,2,...,N\end{array}$$
该问题是一个凸二次规划问题，关于$(w,b,\xi )$的解是存在的，可以证明$w$的解是唯一的，$b$的解可能不唯一，而是存在于一个区间。

对偶问题

跟线性可分构造对偶问题的思路大体一致

原始问题的拉格朗日函数是：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
其中，${\alpha }_i\ge 0,{\mu }_i\ge 0$。

因此，原始问题转化为极小极大问题：
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )$$
其对偶问题为：
$$\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$
(1) 求$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$

由
$$\begin{array}{rl}& {\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0\\ & \Rightarrow \\ & w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\end{array}$$
带入拉格朗日函数中得：
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
(2) 对$-\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$求极小，得到对偶问题
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ C-{\alpha }_i-{\mu }_i=0\\ {\alpha }_i\ge 0\\ {\mu }_i\ge 0,i=1,2,...,N\end{array}$$
利用等式约束消去${\mu }_i$得到对偶问题：
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,N\end{array}$$
原始解与对偶解的关系

与线性可分支持向量机类似，显然原始问题的目标函数为凸函数，两个不等式约束均为凸函数，且不等式约束是严格可行的，因此，存在$w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }$,使得$w^{\ast },b^{\ast },{\xi }^{\ast }$是原始问题的解，${\alpha }^{\ast },{\mu }^{\ast }$是对偶问题的解，且
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )=\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })$$
因此，满足KKT条件：
$$\begin{gathered} {\nabla }_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0 \\ {\nabla }_{b}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0 \\ {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast })=0, \\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0 \\ {y}_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast }\ge 0, \\ {\xi }_i^{\ast }\ge 0 \\ {\alpha }_i^{\ast }\ge 0 \\ {\mu }_i^{\ast }\ge 0,i=1,2,...,N \\ \Rightarrow \\ {w}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \end{gathered}$$
其中，$b^{\ast }$中$j$的选取满足，$0<{\alpha }_j^{\ast }<C$，因为当$0<{\alpha }_j^{\ast }<C$时，由$C-{\alpha }_j^{\ast }-{\mu }_j^{\ast }=0$得${\mu }_j^{\ast }>0$，又由于${\mu }_j^{\ast }{\xi }_j^{\ast }=0$因此${\xi }_j^{\ast }=0$，因此，根据上述第4个式子有
$$\begin{gathered} y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0 \\ \Rightarrow \\ {y}_j^2(w^{\ast }\cdot x_j+b^{\ast })=y_j \\ \Rightarrow \\ {w}^{\ast }\cdot x_j+b^{\ast }=y_j \\ \Rightarrow \\ {b}^{\ast }=y_j-w^{\ast }\cdot x_j=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j) \end{gathered}$$

算法步骤

输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中,$x_i\in R^N$，$y_i\in \{+1,-1\},i=1,2,...,N$;

输出：分离超平面和分类决策函数。

(1) 选择惩罚参数$C>0$,构造并求解凸二次规划问题
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,N\end{array}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$.

(2) 计算$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$

选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j)$$
(2) 求得分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$$

支持向量

在线性不可分的情况下,对偶问题的解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast })$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例$x_i$称为支持向量。支持向量与间隔边界位置关系可分以下4种情况讨论：

1. 若${\alpha }_i^{\ast }<C$,则由KKT条件，${\mu }_i^{\ast }>0$，又由于${\mu }_i^{\ast }{\xi }_i^{\ast }=0$因此${\xi }_i^{\ast }=0$，则支持向量恰好落在间隔边界上；
2. 若${\alpha }_i^{\ast }=C$，若$0<{\xi }_i<1$则分类正确，支持向量在间隔边界与分离超平面之间；
3. 若${\alpha }_i^{\ast }=C$，若${\xi }_i=1$则分类正确，支持向量在分离超平面上；
4. 若${\alpha }_i^{\ast }=C$，若${\xi }_i>1$则分类错误，支持向量在分离超平面误分类一侧；

合页损失函数

对于线性支持向量机学习来说，其模型为分离超平面$w^{\ast }\cdot x+b^{\ast }=0$及决策函数$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$，其学习策略为软间隔最大化，学习算法为凸二次规划。

线性支持向量机还有另外一种解释，就是最小化一下目标函数：
$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$
目标函数的第一项是经验损失或经验风险.
$$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}$$
称为合页损失函数，下标“+”表示以下取正值的函数
$$[z{]}_{+}=\{\begin{array}{ll}z& z>0\\ 0& z\le 0\end{array}$$
定理
$$\begin{array}{r}\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2-C\sum _{i=1}^N{\xi }_i\\ \mathrm{s}.\mathrm{t}.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N\\ {\xi }_i\ge 0,i=1,2,...,N\end{array}$$
等价于优化问题
$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$

非线性支持向量机

非线性支持向量机主要应用于非线性分类问题，其主要特点是在线性支持向量机的基础上引入了核技巧，将在输入空间中呈现非线性分布的样本集合映射到某一特征空间中，使其在特征空间中的分布符合线性，进而在特征空间中利用线性支持向量机对其进行分类。

核技巧

核技巧的说明

图2 非线性分类问题与核技巧

对于图2左侧数据集分布，显然无法用直线（线性模型）将正负例正确分开，但可以用一条椭圆曲线（非线性模型）将他们正确分类。

对于非线性的问题往往不好求解，所以希望能用解线性分类问题的方法解决，核技巧考虑将输入空间的数据做一个非线性变换，将输入空间的非线性分布数据映射到特征空间中，使其在特征空间中变换为线性问题（如图2左侧数据经非线性变换映射到图2右侧的特征空间中呈现线性分布），进而将非线性分类问题变换为线性分类问题。

核函数定义

设$X$是输入空间（欧氏空间$R^n$的子集或离散空间），$H$是特征空间（希尔伯特空间（完备的内积空间）），如果存在一个从$X$到$H$的映射
$$\varphi (x):X\to H$$
使得对所有$x,z\in X$，函数$K(x,z)$满足条件
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，$\varphi (x)\cdot \varphi (z)$指$\varphi (x)$与$\varphi (z)$的内积。

对于给定的核函数$K(x,z)$，特征空间$H$和映射函数$\varphi$的取法并不唯一，可以取不同的特征空间，在同一个特征空间中也可以取不同映射。

核技巧在支持向量机中的应用

支持向量机的对偶问题
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,N\end{array}$$
以及决策函数
$$\begin{gathered} f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast }) \\ {b}^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j) \end{gathered}$$
都只涉及输入实例与实例之间的内积，在对偶问题中的内积$x_i\cdot x_j$可以用核函数$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$来代替，此时对偶问题成为：
$$\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i\\ \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,N\end{array}$$
同样，分类决策函数内积也用核函数代替，成为：
$$\begin{gathered} f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }) \\ {b}^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }K(x_i,x_j) \end{gathered}$$

这等价于经过映射函数$\varphi$将原来的输入空间变换到一个新的特征空间，将输入空间中的内积$x_i\cdot x_j$变换为特征空间中的内积$\varphi (x_i)\cdot \varphi (x_j)$，在新的特征空间样本中学习线性支持向量机。当映射函数是非线性函数时，支持向量机是非线性分类模型。可以发现，学习是隐式的进行的，不需要显式的给定特征空间和映射函数。

正定核函数

核函数必须为正定核函数

正定核的充要条件

设$K:X\times X\to R$是对称函数，则$K(x,z)$为正定核的充要条件是对任意$x_i\in X,i=1,2,...,m$,$K(x,z)$对应的Gram矩阵:
$$K=[K(x_i,x_j){]}_{m\times m}$$
是半正定矩阵。

检验一个函数是否为正定核函数并不容易，在实际问题中，往往会应用已有的核函数。

常用核函数

多项式核函数

$$K(x,z)=(x\cdot z+1{)}^p$$

对应的支持向量机是一个$p$次多项式分类器。

高斯核函数

$$K(x,z)=\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{||x-z|{|}^2}{2{\sigma }^2}\right)$$

对应的支持向量机为高斯径向基函数分类器。

字符串核函数

核函数不仅可以定义在欧式空间，还可以定义在离散数据集合上，比如字符串核定义在字符串集合，将核函数构造为两个字符串的余弦相似度。

非线性支持向量机算法

输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i\in R^n$， y i ∈ { − 1 , +