SVM总结

$SVM$模型想要找到一个最鲁棒（即某些点更难划分之后结果仍然不变）的超平面来划分两类样本，当训练样本线性可分时，通过硬间隔最大化找到线性可分支持向量机；当训练样本近似线性可分时，通过软间隔最大化可以找到线性支持向量机；当训练样本线性不可分时，通过引入核技巧及软间隔最大化可以找到非线性支持向量机，即在高维空间中找线性支持向量机。假设标签是$+1/-1$，超平面是$w^{T}x+b=0$，给定数据$x$，决策函数是$sign(w^{T}x+b)$，那么$y_i(w^T{x}_i+b)>0$表示分类正确，$x_i$到平面的距离是$\frac{|w^{T}x+b|}{||w||}$，当$||w||$确定时，$y_i(w^T{x}_i+b)$还表示了$x_i$到超平面的相对距离，这个值越大表示$x_i$距离最优超平面$w^{T}x+b=0$的距离越远，分类更确信，定义样本$x_i$的函数间隔是$\widehat{{\gamma }_i}=y_i(w^T{x}_i+b)$，数据集的函数间隔是$\hat{\gamma }=mi{n}_i\widehat{{\gamma }_i}$，样本$x_i$的几何间隔是${\gamma }_i=\frac{y_i(w^T{x}_i+b)}{||w||}$，数据集的几何间隔是$\gamma =mi{n}_i{\gamma }_i$，它们的关系是$\gamma =\frac{\hat{\gamma }}{||w||}$，当$||w||=1$时两者相等。

点$(x,y)$到线$ax+by+c=0$的距离是$\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$，即$x$到$w^{T}x+b=0$的距离是$\frac{|w^{T}x+b|}{||w||}$，推导过程：

• 直线上的向量以及与之共线的向量叫做直线的方向向量，任取直线上两点，求它们两点组成的向量就是方向向量。这里取$(0,-\frac{c}{b})$和$(-\frac{c}{a},0)$，它们相减就是方向向量$(-\frac{c}{a},\frac{c}{b})$，同乘$\frac{ab}{c}$不改变向量的方向，得到$(-b,a)$
• 直线的法向量是与直线方向向量正交的向量，容易得到是$(a,b)$，单位法向量即$\frac{1}{\sqrt{a^2+b^2}}(a,b)$
• 向量$a$在向量$b$上的投影是$||a||cos\theta$，即$\frac{a^{T}b}{||b||}$
• 在直线上任取一点，求点$(x,y)$与其组成的向量在单位法向量上的投影即是点到直线的距离。这里取$(0,-\frac{c}{b})$，$(x,y+\frac{c}{b})$在单位法向量$\frac{1}{\sqrt{a^2+b^2}}(a,b)$上的投影是$\frac{a^{T}b}{||b||}=\frac{1}{\sqrt{a^2+b^2}}\frac{(ax+by+c)}{1}=\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$
• 上面的推导过程可以推广到$n$维空间中，即$x$到$w^{T}x+b=0$的距离是$\frac{|w^{T}x+b|}{||w||}$

硬间隔最大化想要找到几何间隔最大化的超平面：
$$\begin{gathered} ma{x}_{w,b}\gamma \\ s.t.\frac{y_i(w^T{x}_i+b)}{||w||}\ge \gamma ,i=1,2,\dots ,N \end{gathered}$$
考虑几何间隔和函数间隔之间的关系，这个问题可以转化为：
$$\begin{gathered} ma{x}_{w,b}\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge \hat{\gamma },i=1,2,\dots ,N \end{gathered}$$
函数间隔$\hat{\gamma }$的取值不影响最优化问题的解，这里固定为$1$，最优化$\frac{1}{||w||}$和最优化$\frac{1}{2}||w|{|}^2$等价，于是得到线性可分支持向量机基本型，这是一个凸二次规划问题：

$$\begin{gathered} ma{x}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\dots ,N \end{gathered}$$

《统计学习方法》中提到函数间隔$\hat{\gamma }$的取值不影响最优化问题的解，这里有点模糊

支持向量是训练集中与超平面最近的样本点，它使得约束条件的等号成立。正例支持向量使得$w^T{x}_i+b=+1$，反例支持向量使得$w^T{x}_i+b=-1$，这两个点之间的距离$\frac{2}{||w||}$称为间隔，最优超平面的解只与这些支持向量相关，去掉其他点解不会发生变化，这也可以从西瓜书124页$KKT$条件的解释中得到（${\alpha }_i>0$的那些样本是支持向量），引入拉格朗日乘子之后，原问题转化对偶问题：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,\dots ,N \end{gathered}$$

通用的二次规划算法求解这个最优化问题时，开销与训练样本数成正比，为了避开这个问题，提出使用$SMO$算法求解最优$alpha$，再用$w=\sum {\alpha }_i{y}_i{x}_i$和$b=\frac{1}{|S|}{\sum }_{s\in S}(y_s-{\sum }_{i\in S}{\alpha }_i{y}_i{x}_i^T{x}_s)$（$S=\{i|{\alpha }_i>0,i=1,2,\dots ,N\}$，即支持向量的下标集合）得到分类模型$sign(w^{T}x+b)$

$SMO$算法每次选择两个${\alpha }_i,{\alpha }_j$来做优化，其他$N-2$个$\alpha$固定（只选择一个${\alpha }_i$，固定其他$N-1$个不可以，因为存在约束条件${\sum }_{i=1}^N{\alpha }_i{y}_i=0$，其他$N-1$个$\alpha$可以导出剩下的一个）
当样本中存在一些特异点，去掉这些特异点后剩下的样本大部分是线性可分的，这样的问题是近似可分的问题，为了解决这些问题对每个样本点$(x_i,y_i)$引入松弛变量${\xi }_i$，允许样本点满足更松弛的条件$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$，但同时在优化目标上增加惩罚${\xi }_i$，并有参数$C$调节，线性不可分的线性支持向量机学习问题就转化成了下面的原始问题：
$$\begin{gathered} ma{x}_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N \\ {\xi }_i\ge 0,i=1,2,\dots ,N \end{gathered}$$
同样引入拉格朗日乘子后转化为对偶问题：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,\dots ,N \end{gathered}$$
支持向量的分析也可以看这里