统计学习方法学习笔记-07-支持向量机01

包含对三种支持向量机的介绍，包括线性可分支持向量机，线性支持向量机和非线性支持向量机，包含核函数和一种快速学习算法-序列最小最优化算法SMO。

线性可分支持向量机与硬间隔最大化

线性可分支持向量机

假设一个特征空间上线性可分的训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中$x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}=\{+1,-1\},i=1,2,\cdots ,N$
线性可分支持向量机利用间隔最大化求最优分离超平面，解是唯一的
分离超平面：
$${\omega }^{\ast }\cdot x+b^{\ast }=0$$
相应的分类决策函数：
$$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$$

函数间隔和几何间隔

• 超平面$(\omega ,b)$关于训练数据集$T$中样本点$(x_i,y_i)$的函数间隔functional margin：
  $${\hat{\gamma }}_i=y_i(\omega \cdot x_i+b)$$
• 超平面关于训练数据集的函数间隔：所有关于样本点的函数间隔的最小值：
  $$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$$
• 对超平面的法向量$\omega$规范化使得$||\omega ||=1$，$||\omega ||$是$\omega$的$L_2$范数，这时函数间隔变为几何间隔geometric margin，关于样本点的几何间隔为：
  $${\gamma }_i=y_i\left(\frac{\omega }{||\omega ||}\cdot x_i+\frac{b}{||\omega ||}\right)$$
• 超平面关于训练集的几何间隔：
  $$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$$
• 如果$||\omega ||=1$，那么函数间隔和几何间隔相等

间隔最大化

求几何间隔最大的分离超平面，这个问题表示为下面的约束最优化问题，表示每个样本点的几何间隔最小是$\gamma$：
$$\begin{array}{rl}\underset{\omega ,b}{\max }& \gamma \\ s.t.& y_i\left(\frac{\omega }{||\omega ||}\cdot x_i+\frac{b}{||\omega ||}\right)\ge \gamma ,i=1,2,\cdots ,N\end{array}$$
将几何间隔转化为函数间隔：
$$\begin{array}{rl}\underset{\omega ,b}{\max }& \frac{\hat{\gamma }}{||\omega ||}\\ s.t.& y_i(\omega \cdot x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$
而已知$\hat{\gamma }$的取值不影响最优化问题的解，取其值为1，于是得到线性可分支持向量机学习的最优化问题：
$$\begin{array}{rl}\underset{\omega ,b}{\min }& \frac{1}{2}||\omega |{|}^2\\ s.t.& y_i(\omega \cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N\end{array}$$
凸优化问题是指约束最优化问题：
$$\begin{array}{rl}\underset{\omega }{\min }& f(\omega )\\ s.t.& g_i(\omega )\le 0,i=1,2,\cdots ,k\\ & h_i(\omega )=0,i=1,2,\cdots ,l\end{array}$$
其中目标函数$f(\omega )$和约束函数$g_i(\omega )$都是$R^n$上连续可微的凸函数，约束函数$h_i(\omega )$是$R^n$上的仿射函数($f(x)$称为仿射函数，如果满足$f(x)=a\cdot x+b,a\in R^n,b\in R,x\in R^n$）
当目标函数$f(\omega )$是二次函数且约束函数$g_i(\omega )$是仿射函数时，上述凸优化问题成为凸二次规划问题

线性可分支持向量机学习算法-最大间隔法

输入：线性可分的训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中$x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}=\{+1,-1\},i=1,2,\cdots ,N$
输出：最大间隔分离超平面和分类决策函数

• 构造并求解约束最优化问题，得到最优解${\omega }^{\ast },b^{\ast }$：
  $$\begin{array}{rl}\underset{\omega ,b}{\min }& \frac{1}{2}||\omega |{|}^2\\ s.t.& y_i(\omega \cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N\end{array}$$
• 得到分离超平面
  $${\omega }^{\ast }\cdot x+b^{\ast }=0$$
  分类决策函数：
  $$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$$

若训练数据集$T$线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一p117页证明(回忆不起来可看)
支持向量：是指约束条件不等式等号成立的样本点$y_i(\omega \cdot x_i+b)-1=0$
间隔：依赖于分离超平面的法向量，等于$\frac{2}{||\omega ||}$

学习的对偶算法

首先引入拉格朗日乘子${\alpha }_i\ge 0,i=1,2,\cdots ,N$定义拉格朗日函数，$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$为拉格朗日乘子向量：
$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(\omega \cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$
对偶问题是极大极小问题，先求极小再求极大：
$$\underset{\alpha }{\max }\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$$

• 求$\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$，对$\omega ,b$求偏导
  $$\begin{gathered} {\nabla }_{\omega }L(\omega ,b,\alpha )=\omega -\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(\omega ,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
  得到：
  $$\begin{gathered} \omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
  将上式带到拉格朗日函数：
  $$\begin{array}{rl}L(\omega ,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$
  所以：
  $$\underset{\omega ,b}{\min }L(\omega ,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
• 求$\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$对$\alpha$的极大：
  $$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
  将上式的目标函数由求极大转换为求极小，得到下面和上式等价的对偶最优化问题
  $$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
  因为原始问题满足原始问题和对偶问题最优值相同所需的条件，所以存在${\omega }^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题的解和对偶问题的解，求解原始问题可以转化为求解对偶问题
• 假设对偶问题解为${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$，存在下标$j$，使得${\alpha }_j^{\ast }>0$，可以由${\alpha }^{\ast }$求得原始问题的解${\omega }^{\ast },b^{\ast }$
  $$\begin{gathered} {\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$
  证明如下：
  由KKT条件：
  $${\nabla }_{\omega }L({\omega }^{\ast },b^{\ast },{\alpha }^{\ast })={\omega }^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$$
  得到：
  $${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
  至少存在一个$a_j^{\ast }>0$，这是因为假设所有的都为0，那么${\omega }^{\ast }=0$，这不是原始最优化问题的解，所以至少存在一个，对这个$j$结合KKT条件${\alpha }_i^{\ast }(y_i({\omega }^{\ast }\cdot x_i+b^{\ast })-1)=0$，得到$y_j({\omega }^{\ast }\cdot x_j+b^{\ast })-1=0$，又有$y_j^2=1$，得到：
  $$\begin{gathered} y_j={\omega }^{\ast }\cdot x_j+b^{\ast } \\ {b}^{\ast }=y_j-{\omega }^{\ast }\cdot x_j \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$
  至此${\omega }^{\ast },b^{\ast }$求出
  分离超平面为：
  $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
  分类决策函数为：
  $$f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }\right)$$

线性可分支持向量机学习算法-对偶

输入：线性可分的训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中$x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}=\{+1,-1\},i=1,2,\cdots ,N$
输出：最大间隔分离超平面和分类决策函数

• 构造并求解约束最优化问题求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$
  $$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
• 计算
  $${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
  选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }>0$，计算：
  $$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
• 求得分离超平面和决策函数：
  $$\begin{gathered} \sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0 \\ f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }\right) \end{gathered}$$

训练数据中对应${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的$x_i$称为支持向量，根据KKT条件得到：$y_i({\omega }^{\ast }\cdot x_i+b^{\ast })-1=0$，支持向量$x_i$一定在间隔边界上