机器学习——支持向量机SVM学习总结

对于上图中的红叉和蓝圈，如果我们进行二分类，找到他的分类边界，那么有许多中可能（绿色，粉色，黑色）。但是，绿色和粉色的分类超平面，对于未知样本的预测效果会比黑色的差。支持向量机，就是去找到这样一个分类超平面，使得样本点到这个平面的距离最大。

数学模型

判别模型$f(x)=w^{T}x+b$，把b当成w的一部分则$f(x)=w^{T}x$，对于最大间隔，要满足以下式子：
$$\begin{gathered} maxmargin(w,b) \\ s.t.y_i(w^T{x}_i+b)>0 \end{gathered}$$
$$\begin{gathered} margin(w,b)=\underset{w,b,x_i}{\min }distance(w,b,x_i) \\ \underset{w,b,x_i}{\min }\frac{|w^T{x}_i+b|}{||w||}(1) \end{gathered}$$
(1)式为点到直线的距离
对于分类问题：

$$\begin{gathered} w^{T}x+b>0y=1 \\ {w}^{T}x+b<=0y=-1 \end{gathered}$$

因此$|w^T{x}_i+b|$可以转换成$y_i(w^T{x}_i+b)$，
$$\begin{gathered} \underset{w,b}{\max }\underset{x_i}{\min }\frac{|w^T{x}_i+b|}{||w||}=\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }y(w^T{x}_i+b) \\ s.t.y(w^T{x}_i+b)>0 \end{gathered}$$
对于${\min }_{x_i}y(w^T{x}_i+b)$，一定存在一个R 使得${\min }_{x}y(w^{T}x+b)=R$
对于R可以进行缩放，比如x=1和2x=2其实表达是一样的，因此这里就直接假设R=1，${\min }_{x}y(w^{T}x+b)=R$等价于$y(w^{T}x+b)>=R$
则上式为：
$$\begin{gathered} \underset{w,b}{\max }\frac{1}{||w||} \\ s.t.y_i(w^T{x}_i+b)>=1 \end{gathered}$$
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)>=1（2） \end{gathered}$$
对maxmin的解释：
min是求样本中离直线最近的点，这些点可以理解为支持向量
max使得这些最近的点到分类超平面的距离最大
对偶问题
对于上面的式子，是一个
凸二次规划问题，可以直接用相应的方法求解，但是遇到维度较高的情况时，就不能直接用二次规划的方法做，因此这里引入他的对偶问题。
拉格朗日乘子法
对于上式改写为：
$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b)) \\ s.t.{\lambda }_i>=0 \end{gathered}$$
$$\begin{gathered} \underset{w,b}{\min }\underset{\lambda }{\max }L \\ s.t.{\lambda }_i>=0 \end{gathered}$$
拉格朗日乘子法中：$L(w,b,\lambda )=h(x)+{\sum }_{i=1}^N{\lambda }_{i}g(x)$ $\lambda$大于等于0，g(x)小于等于0
对偶关系：minmax <= maxmin即最大值中的最小值肯定大于等于最小值中的最大值。而对于凸二次规划问题，满足强对偶关系，即minmax=maxmin
所以原式可以转换为
$$\begin{gathered} \underset{\lambda }{\max }\underset{w,b}{\min }L \\ s.t.\lambda >=0 \end{gathered}$$
对于min是不受lambda约束的，所以可以直接求解。求出L关于w，b的偏导数，然后带入L得到$$\begin{gathered} \underset{\lambda }{\max }P \\ \lambda >=0 \end{gathered}$$
P的表达式：
$w^{\ast }={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i$,$b^{\ast }={\sum }_{i=1}^N{\lambda }_i{y}_i$
$$\begin{gathered} P=\underset{\lambda }{\min }\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _i^N{\lambda }_i \\ s.t.\lambda >=0 \\ \sum _{i=1}^N{\lambda }_i{y}_i=0 \end{gathered}$$
对于凸二次规划问题，前面提到他一定是满足强对偶关系的，而他的充要条件就是满足KKT条件。
KKT条件：
$$f(x)=\{\begin{array}{rlr}\lambda & >=& 0\\ 1-y(w^{T}x+b)& <=& 0\\ \lambda (1-y(w^{T}x+b))& =& 0\\ w^{\ast },b^{\ast },{\lambda }^{\ast }& =& 0\end{array}$$
$w^{\ast },b^{\ast },{\lambda }^{\ast }$是导数，直观上理解，对于L，想要得到最大值就得后半部分为0，最大值为$\frac{1}{2}{w}^{T}w$。而后半部分为0，那就是$\lambda$为0或者$1-y(w^{T}x+b)$为0。

对于在黄色和橙色线上的点$1-y(w^{T}x+b)$为0，而在两条线以外的点则$1-y(w^{T}x+b)<0$因此此时$\lambda =0$
$w^{\ast }={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i$
一定存在一个$(x_k,y_k)$使得$w^T{x}_k+b=y_k$，即在两条彩色线上。
$b^{\ast }=y_k-w^T{x}_k=y_k-{\sum }_{i=1}^N{y}_i{x}_i^T{x}_k$
分类超平面为$w^{\ast T}x+b^{\ast }$
以上是hard margin的情况，也就是假设样本在理想情况下是完全可以被分开的，没有噪声的，下面总结一下soft margin的知识
soft margin
字面上理解就是相对hard，soft的条件没有这么苛刻，允许一点点错误。

所谓的一点点错误，用loss来表示，我们可以用01损失来表达，即loss表示违反条件（超过红色线）的个数${\sum }_{i=1}^{N}I\{y_i(w^T{x}_i+b)<1\}$,I表示个数
但是01loss是不连续的，求导不好弄，因此对其进行改进。

改进后

采用hinge loss 在满足条件的时候($y_i(w^T{x}_i+b)>=1$)就为0，不满足的时候就等于
$1-y_i(w^T{x}_i+b)$
$loss=\max \{0,1-y_i(w^T{x}_i+b)\}$

$\xi$来表示loss，可得$\xi >=0$
如上图所示，蓝色的线就是使用soft margin后的情况，允许在黄色这段区间内存在一些噪声。
式（2可以写成）
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w^T{x}_i+b)>=1-{\xi }_i \end{gathered}$$
C是系数
参考：https://www.bilibili.com/video/BV1Hs411w7ci?p=3