SVM算法原理详解及python实现

算法原理

$$\{\begin{array}{l}{w}^{T}x+b>0y_i=1⟺y(x_i)>0\\ w^{T}x+b<0y_i=-1⟺y(x_i)<0\end{array}$$
将点到直线的距离转化为：$\frac{|w^{T}x+b|}{||w||}(几何间距)⟺\frac{y_i|w^{T}x+b|⩾0}{||w||}(函数间隔)$

进行缩放变换：使$|Y|⩾1\Rightarrow y_i|w^{T}x+b|⩾1$(之前我们认为恒大于0，现在严格了些)

优化目标：$argmax(w,b)\{\frac{1}{||w||}min(i)[y_i(w^{T}x+b)]\}$

优化目标：$argmax(w,b)\{\frac{1}{||w||}\}st.y_i|w^{T}x+b|⩾1$

优化目标：$min(w,b)\{\frac{1}{2}||w|{|}^2\}st.y_i|w^{T}x+b|⩾1$

拉格朗日乘子法求解：$L(\omega ,b,\alpha )=\frac{1}{2}||w|{|}^2-{\sum }_{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)st.y_i|w^{T}x+b|⩾1$

求导可得：
$$\{\begin{array}{l}\frac{\partial L}{\partial \omega }=\omega -{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=0\\ \frac{\partial L}{\partial b}={\sum }_{i=1}^n{\alpha }_i{y}_i=0\end{array}$$

将求导后的式子带入L可得：$L(\omega ,b,\alpha )={\sum }_{i=1}^n{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_{j}st.{\sum }_{i=1}^n{\alpha }_i{y}_i⩾0且{\alpha }_i⩾0$

求解得：
$$\{\begin{array}{l}{\alpha }_i=0不是支持向量\\ {\alpha }_i\ne 0是支持向量\end{array}$$

对数据的要求

1. 对于 缺失值需要处理（填充或者删除）
2. 分类变量需要编码（涉及距离计算）
3. 数据需要标准化或者归一化处理（消除量纲的影响。涉及距离计算的算法都需要考虑）

算法的优缺点

一、优点
1.SVM只由支持向量决定，计算的复杂度取决于支持向量的数量，在某种意义上避免‘维度灾难’
2. 具有一定的鲁棒性（增删非支持向量对模型无影响）
3. 理论完善

一、缺点
1.大规模训练样本难以实施，存储与计算将耗费大量内存与时间
2.对缺失数据敏感
3. 可解释能力弱
4. 解决多分类问题困难
5. 核函数选择不易

算法需要注意的点

1. SVM几种原理
1、线性可分： 硬间隔最大化
2、线性近似可分（有个别点偏移）： 引入松弛变量（软间隔最大化）
3、非线性支持向量机（引入线性核函数（实际求解时不在高维上，因为可能无穷维，求解不易），线性不可分）： 高斯核$K(x,x_i)=exp(-\frac{||x-x_i|{|}^2}{{\sigma }^2})(\sigma 小会带来过拟合)$

2. SVM为什么采用间隔最大化？
获得最优解，泛化能力最强（因为解有无穷多个）

3. SVM处理多分类问题？
1、一对多： 将某一类归一类，其余类归一类共训练K个类K个分类器，用K个分类器来测试新样本，哪个分类器概率（p）高就预测为哪一类（bias较高）
2、一对一： 任意两个类训练一个分类器，一共训练$C_k^2$个分类器，最后投票判别

算法实现（python）（待更…）