支持向量机(SVM)的原理（线性可分硬间隔）

线性可分支持向量机

给定线性可分的数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习到的分离超平面为
$$w^{\ast }\cdot x+b=0$$
以及相应的分类决策函数
$$f(x)=sign(w^{\ast }\cdot x+b)$$
称为线性可分支持向量机。

一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度，而$w\cdot x+b$的符号与类标记$y$的符号是否一致可以表示分类是否正确。因此可以用$y(w\cdot x+b)$来表示分类的正确性以及确信度。

对于给定的训练集$T$和超平面$(w,b)$,定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$${\hat{\gamma }}_i=y_i(w\cdot x+b)$$
定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值，即
$$\hat{\gamma }=\underset{i=1,...,N}{\min }{\hat{\gamma }}_i$$
由于只定义了函数间隔并不唯一，例如将$w$和$b$成倍增加，此时分离超平面没有改变，函数间隔却改变了。因此可以对分离超平面的法向量做一些限制，例如令$||w||=1$，此时间隔唯一确定，函数间隔变为几何间隔
$${\hat{\gamma }}_i=y_i(\frac{w}{||w||}\cdot x+\frac{b}{||w||})$$
同理，超平面与数据集的几何间隔为超平面与数据集中所有样本点的几何间隔的最小值
$$\hat{\gamma }=\underset{i=1,...,N}{\min }{\hat{\gamma }}_i$$

间隔最大化

支持向量机学习的基本想法是求解能够正确划分训练数据集并且集合间隔最大的分离超平面。
该问题可以表述为一个优化问题
$$\underset{w,b}{\max }\gamma$$
s.t.$$y_i(\frac{w}{||w||}\cdot x+\frac{b}{||w||})⩾\gamma ,i=1,2,...,N$$
考虑到几何间隔与函数间隔之间的关系$\gamma =\frac{\hat{\gamma }}{||w||}$，可以将问题改写为：
$$\underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}$$
s.t.$$y_i(w\cdot x+b)⩾\hat{\gamma },i=1,2,...,N$$
考虑到函数间隔$\hat{\gamma }$的取值不影响规划问题的最优解，可取$\hat{\gamma }=1$，并且最大化$\frac{1}{||w||}$与最小化$\frac{1}{2}||w|{|}^2$是等价的，因此可以得到线性可分支持向量机学习的最优化问题
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$
s.t.$$y_i(w\cdot x_i+b)-1⩾0,i=1,2,...,N$$
此问题为一个凸二次规划问题。
求解出该问题的解$w^{\ast },b^{\ast }$，可以得到分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及分离决策函数
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

支持向量指的是令约束条件成立的样本点，间隔依赖于分离超平面的法向量$w$，等于$\frac{2}{||w||}$。支持向量机由很少的“重要的”训练样本决定。
在求解时采用对偶方法，首先构造拉格朗日函数
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
首先求$\min w,bL(w,b,\alpha )$
将拉格朗日函数分别对w,b求偏导并令其等于0。
得到
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
将两个式子带入拉格朗日函数，则有：
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
此时问题转化为
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$
s.t.
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i⩾0,i=1,2,...,N$$
对于线性可分数据集，假设对偶问题的解为${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }^{\ast }N{)}^T$，则可以由${\alpha }^{\ast }$求出$w^{\ast },b^{\ast }$.
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
其中，存在$j$使得${\alpha }_j^{\ast }>0$。

则最终求得的模型，分离超平面为
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
分类决策函数为
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

参考：《统计学习方法》 李航著