机器学习总结三：SVM原理推导与案例

机器学习算法总结

一、Bagging之决策树、随机森林原理与案例

二、boosting之GBDT、XGBT原理推导与案例

三、SVM原理推导与案例

四、逻辑回归与反欺诈检测案例

五、聚类之K-means

---

三、SVM

1. 原理推导（硬间隔）

1.1分类问题代数化

**svm原理一句话概括：找出一个最优的直线(或超平面)去隔离不同类别样本数据，达到分类目的。**

                图1                                 图2

图1: 找出一条直线将样本完美地划分成两类（注意这样的直线有很多，称为决策边界）。

图2：最优的划分直线满足虚线(超平面)之间距离d最大（容错性高，直观体现支持向量(虚线上的点)的重要性）。

图1：设设x1，x2为决策边界上w^T*x+b=0的两个点，则：
$$\begin{gathered} w^T\ast X_1+b=0 \\ {w}^T\ast X_2+b=0 \\ {w}^T\ast (X_1-X_2)=0 \\ w\perp (X_1-X_2)即垂直于决策边界 \end{gathered}$$
图2：将决策边界向上平移和向下平移k得到虚线超平面，则
$$\begin{gathered} w^T\ast X+b=k \\ {w}^T\ast X+b=-k \\ 等式两边除以k \\ {w}^T\ast X+b=1 \\ {w}^T\ast X+b=1 \\ 注：1、-1分别表示平行于决策边界的虚线到决策边界的相对距离，不是具体距离 \end{gathered}$$
**图2：**设Xp、Xn分别为正例和负例样本的支持向量，则：
$$\begin{gathered} w^T\ast X_p+b=1 \\ {w}^T\ast X_n+b=-1 \\ {w}^T\ast (X_p-X_n)=2 \\ d=(X_p-X_n)\ast \frac{w}{|w|}=\frac{2}{|w|} \\ 因为一个向量(X_p-X_n)点乘一个单位向量\frac{w}{|w|}等于在单位向量上的投影 \end{gathered}$$
为了最优的分类效果和容错性，需求解满足分类正确前提下距离d的最大值。
$$\begin{gathered} 分类正确：f(w,b)=\{\begin{array}{ll}w{x}_i+b\ge 1,& if{y}_i=1\\ w{x}_i+b\le -1,& if{y}_i=-1\end{array} \\ {x}_i、y_i真实样本特征和标签 \\ 简化表示：y_i(w{x}_i+b)\ge 1 \\ 1-y_i(w{x}_i+b)\le 0 \end{gathered}$$
求解最优决策边界代数化问题为：
$$\begin{gathered} d_{max}=min\frac{1}{2}|w|=min\frac{1}{2}{w}^2 \\ s.t：1-y_i(w{x}_i+b)\le 0 \end{gathered}$$

1.2 带有约束的凸优化最优解问题

最优决策边界的代数化表示是一个带有约束的凸优化最优解问题，使用拉格朗日因子法求解(专门求解带约束的最优化问题的方法）。

原始问题对应拉格朗日函数为：
$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^T\ast w+\sum _{i=0}^n{\lambda }_i[1-y_i(w^T\ast x_i+b)] \\ \lambda \ge 0 \end{gathered}$$
且有：
$$原始问题：min\frac{1}{2}{w}^2===mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )(\lambda \ge 0)$$
证明：
$$\begin{gathered} \because ma{x}_{\lambda }L(w,b,\lambda )=\{\begin{array}{ll}+\infty ,& if约束不满足时即1-y_i(w_t\ast x_i+b)>0\\ \frac{1}{2}{w}^T\ast w,& if约束满足时即1-y_i(w_t\ast x_i+b)\le 0\end{array} \\ \therefore mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )=mi{n}_{w,b}\{+\infty ,\frac{1}{2}{w}^T\ast w\}=min\frac{1}{2}{w}^T\ast w且约束条件满足 \end{gathered}$$
所以：原始问题可以表示为：
$$求解极小极大值问题：mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )(\lambda \ge 0)$$

1.3 对偶问题

极小极大值转化为对偶问题再求解。

好处：

1. 改变算法复杂度. 对偶问题往往更容易求解.（原始问题求解与特征维度相关，对偶问题计算量与样本量相关）

2. 转化为对偶问题得到内积的形式, 引入核函数, 进而推广到非线性分类问题.

原始问题对应的对偶问题：
$$求解极大极小值问题：ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )(\lambda \ge 0)$$
原始问题与对偶问题之间关系：原始问题>=对偶问题

证明：
$$\begin{gathered} ma{x}_{\lambda }L(w,b,\lambda )\ge L(w,b,\lambda )\ge mi{n}_{w,b}L(w,b,\lambda ) \\ 设P=ma{x}_{\lambda }L(w,b,\lambda );Q=mi{n}_{w,b}L(w,b,\lambda ) \\ P\ge Q恒成立 \\ mi{n}_{w,b}P\ge ma{x}_{\lambda }Q \\ 即：mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )(\lambda \ge 0)\ge ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )(\lambda \ge 0) \end{gathered}$$
当原问题为凸优化问题,约束条件线性，满足KKT条件时：原始问题===对偶问题（具体深入了解百度拉格朗日对偶问题，最好先学习拉格朗日因子法，对偶函数，再学习SVM，才能完全理解）

1.4 求解对偶问题

$$\begin{array}{l}1.先求mi{n}_{w,b}L(w,b,\lambda )\\ L(w,b,\lambda )=\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i[1-y_i(w^T\ast x_i+b)]（\lambda \ge 0）\\ L(w,b,\lambda )=\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i[1-y_i(w^T\ast x_i+b)]=\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i-{\sum }_{i=0}^n{\lambda }_i{y}_i{x}_i{w}^t-{\sum }_{i=0}^n{\lambda }_i{y}_{i}b\\ \frac{\delta L(w,b,\lambda )}{\delta w}=w-{\sum }_{i=0}^n{\lambda }_i{x}_i{y}_i=0-->w={\sum }_{i=0}^n{\lambda }_i{x}_i{y}_i\\ \frac{\delta L(w,b,\lambda )}{\delta b}=-{\sum }_{i=0}^n{\lambda }_i{y}_i=0\\ 带入w、b一阶导\\ mi{n}_{w,b}L(w,b,\lambda )=-\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i=-\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i=-\frac{1}{2}{\sum }_{i=0}^n{\sum }_{j=0}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j+{\sum }_{i=0}^n{\lambda }_i\end{array}$$

$$\begin{array}{l}\\ 2.再求ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )\\ \begin{array}{c}max\\ \lambda \end{array}L(\lambda )=-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j+{\sum }_{i=1}^n{\lambda }_i\end{array}$$

重要结论1：w、b结果与λ相关，λ结果与样本特征内积相关*

1.5 smo(Sequential minimal optimization)快速求解λ

λi的个数与样本量相关，样本量大时，计算量很大，采用计算更快的smo算法。
$$\begin{array}{l}SMO是一种解决此类支持向量机优化问题的迭代算法。由于目标函数为凸函数，\\ 一般的优化算法都通过梯度方法一次优化一个变量求解二次规划问题的最大值，\\ 但是，对于以上问题，由于限制条件-{\sum }_{i=0}^n{\lambda }_i{y}_i=0存在，\\ 当某个\lambda 从{\lambda }^{old}更新到{\lambda }^{new}时，上述限制条件即被打破。\\ 为了克服以上的困难，SMO采用一次更新两个变量的方法。最后根据\lambda 求出w、b。\end{array}$$
5.1 关于λ的最大化问题，转化为最小化问题
$$\begin{array}{l}\\ ma{x}_{\lambda }L(\lambda )=-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j+{\sum }_{i=1}^n{\lambda }_i\\ mi{n}_{\lambda }L(\lambda )=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j-{\sum }_{i=1}^n{\lambda }_i\\ 已知条件：\lambda \ge 0；\\ w={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i（上一步对w求导所得）;{\sum }_{i=1}^n{\lambda }_i{y}_i=0（上一步对b求导所得）\end{array}$$
5.2 设λ1、λ2为变量，其他λ为定值，则：
$$\begin{array}{l}\\ \because {\sum }_{i=1}^n{\lambda }_i{y}_i=0\\ \therefore {\lambda }_1{y}_1+{\lambda }_2{y}_2+{\sum }_{i=3}^n{\lambda }_i{y}_i=0\\ 设{\sum }_{i=3}^n=-C,则{\lambda }_1{y}_1+{\lambda }_2{y}_2=C(C为常数)\\ \therefore {\lambda }_1=(C-{\lambda }_2{y}_2)y_1(公式3下面会使用)\\ 注意y_i\in [1,-1],y_i^2=1,消去y_1时，要等式两边乘以y_1，不要除\end{array}$$

$$\begin{array}{l}\\ 决策函数：f(x_i)=w^T{x}_i+b\\ \because w={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i\\ \therefore f(x_1)={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i^T\ast x_1+b={\lambda }_1{y}_1{x}_1^T\ast x_1+{\lambda }_2{y}_2{x}_2^T\ast x_1+{\sum }_{i=3}^n{\lambda }_i{y}_i{x}_i^T\ast x_1+b\\ \therefore f(x_2)={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i^T\ast x_2+b={\lambda }_1{y}_1{x}_1^T\ast x_2+{\lambda }_2{y}_2{x}_2^T\ast x_2+{\sum }_{i=3}^n{\lambda }_i{y}_i{x}_i^T\ast x_2+b\\ {\sum }_{i=3}^n{\lambda }_i{y}_i{x}_i.x_1=f(x_1)-{\lambda }_1{y}_1{x}_1.x_1-{\lambda }_2{y}_2{x}_2.x_1-b(公式1下面会使用)\\ {\sum }_{i=3}^n{\lambda }_i{y}_i{x}_i.x_2=f(x_2)-{\lambda }_1{y}_1{x}_1.x_2-{\lambda }_2{y}_2{x}_2.x_2-b(公式2下面会使用)\end{array}$$

5.3 提取λ1、λ2进行求解
$$\begin{array}{l}\\ 1.化简求\lambda 的代数式\\ \begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j-{\sum }_{i=1}^n{\lambda }_i\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1{\lambda }_1{y}_1{y}_1{x}_1{x}_1+\frac{1}{2}{\lambda }_1{\lambda }_2{y}_1{y}_2{x}_1{x}_2+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_1{\lambda }_j{y}_1{y}_j{x}_1{x}_j+\frac{1}{2}{\lambda }_2{\lambda }_1{y}_2{y}_1{x}_2{x}_1+\frac{1}{2}{\lambda }_2{\lambda }_2{y}_2{y}_2{x}_2{x}_2+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_2{\lambda }_j{y}_2{y}_j{x}_2{x}_j+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_1{y}_i{y}_1{x}_i{x}_1+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_2{y}_i{y}_2{x}_i{x}_2+\frac{1}{2}{\sum }_{i=3}^n{\sum }_{j=3}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{k}_{ij}-{\lambda }_1-{\lambda }_2-{\sum }_{i=3}^n{\lambda }_i\\ \\ 1.1设x_i{x}_j=k_{ij}\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{k}_{11}+\frac{1}{2}{\lambda }_1{\lambda }_2{y}_1{y}_2{k}_{12}+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_1{\lambda }_j{y}_1{y}_j{k}_{1j}+\frac{1}{2}{\lambda }_2{\lambda }_1{y}_2{y}_1{k}_{21}+\frac{1}{2}{\lambda }_2^2{k}_{22}+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_2{\lambda }_j{y}_2{y}_j{k}_{2j}+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_1{y}_i{y}_1{k}_{i1}+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_2{y}_i{y}_2{k}_{i2}+\frac{1}{2}{\sum }_{i=3}^n{\sum }_{j=3}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{k}_{ij}-{\lambda }_1-{\lambda }_2-{\sum }_{i=3}^n{\lambda }_i\\ \\ 1.2删除常量，合并相等项\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{k}_{11}+2\ast \frac{1}{2}{\lambda }_1{\lambda }_2{y}_1{y}_2{k}_{12}+\frac{1}{2}{\lambda }_2^2{k}_{22}+2\ast \frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_1{y}_i{y}_1{k}_{i1}+2\ast \frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_2{y}_i{y}_2{k}_{i2}-{\lambda }_1-{\lambda }_2\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{k}_{11}+{\lambda }_1{\lambda }_2{y}_1{y}_2{k}_{12}+\frac{1}{2}{\lambda }_2^2{k}_{22}+{\lambda }_1{y}_1{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}+{\lambda }_2{y}_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-{\lambda }_1-{\lambda }_2\\ \\ 2.带入公式3\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_2)=\frac{1}{2}(C-{\lambda }_2{y}_2{)}^2{k}_{11}+(C-{\lambda }_2{y}_2){\lambda }_2{y}_2{k}_{12}+\frac{1}{2}{\lambda }_2^2{k}_{22}+(C-{\lambda }_2{y}_2){\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}+{\lambda }_2{y}_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-(C-{\lambda }_2{y}_2)y_1-{\lambda }_2\\ \frac{{\delta }^{\prime }L({\lambda }_2)}{\delta {\lambda }_2}=-C{y}_2{k}_{11}+k_{11}{\lambda }_2+C{y}_2{k}_{12}-2k_{12}{\lambda }_2+k_{22}{\lambda }_2-y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}+y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}+y_1{y}_2-1=0\\ k_{11}{\lambda }_2-2k_{12}{\lambda }_2+k_{22}{\lambda }_2=1+C{y}_2{k}_{11}-C{y}_2{k}_{12}+y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}-y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-y_1{y}_2\\ (k_{11}-2k_{12}+k_{22}){\lambda }_2=y_2(y_2+C{k}_{11}-C{k}_{12}+{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}-{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-y_1)(其中：1\Rightarrow y_2{y}_2)\\ \\ 3.代入公式1、公式2\\ {\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}-{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}=(f(x_1)-{\lambda }_1^{old}{y}_1{x}_1.x_1-{\lambda }_2^{old}{y}_2{x}_2.x_1-b)-(f(x_2)-{\lambda }_1^{old}{y}_1{x}_1.x_2-{\lambda }_2^{old}{y}_2{x}_2.x_2-b)=f(x_1)-{\lambda }_1^{old}{y}_1{k}_{11}-{\lambda }_2^{old}{y}_2{k}_{21}-f(x_2)+{\lambda }_1^{old}{y}_1{k}_{12}+{\lambda }_2^{old}{y}_2{k}_{22}\\ {\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2=C\\ (k_{11}-2k_{12}+k_{22}){\lambda }_2^{new}=y_2(y_2+({\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2)k_{11}-({\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2)k_{12}+f(x_1)-{\lambda }_1^{old}{y}_1{k}_{11}-{\lambda }_2^{old}{y}_2{k}_{21}-f(x_2)+{\lambda }_1^{old}{y}_1{k}_{12}+{\lambda }_2^{old}{y}_2{k}_{22}-y_1)\\ {\lambda }_2^{new}=\frac{y_2[y_2-f(x_2)-(y_1-f(x_1))+{\lambda }_2^{old}{y}_2(k_{11}-2k_{12}+k_{22})]}{k_{11}-2K_{12}+k_{22}}={\lambda }_2^{old}+\frac{y_2[y2-f(x_2)-(y_1-f(x_1)]}{k_{11}-2K_{12}+k_{22}}\\ \\ {\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_2-E_1)}{k_{11}-2K_{12}+k_{22}}（E_1、E_2真实标签与决策函数结果之差）\end{array}$$

重要结论2：

​
$$\begin{gathered} {\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_2-E_1)}{k_{11}-2K_{12}+k_{22}} \\ {\lambda }_i更新只与真实标签y_i、真实标签y_i与预测值f(x_i)差值和样本x_i{x}_j内积相关 \end{gathered}$$

1.6 核函数

6.1 分类中问题

$$\begin{array}{l}有些分类问题不是线性可分的（如左图异或问题），\\ 进行高维映射后(右图)（x_1,x_2）-->（x_1,x_2,x_1\ast x_2）\\ 线性可分。\end{array}$$

对偶问题求λ的极值亦随之变化。
$$\begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^n{\lambda }_i$$

$$\begin{gathered} -->\begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi (x_i)\varphi (x_j)-\sum _{i=1}^n{\lambda }_i \\ \varphi (X)是样本X的高维映射函数 \\ 注：缺陷样本进行高维映射后，可以解决线性不可分问题，但计算量大大增加(需先高维映射再求样本点内积) \end{gathered}$$

6.2 核函数作用 ：将高维特征的计算转化到低维计算

$$\begin{array}{l}样本1:(x_1,x_2)-->(x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2)\\ 样本2：(z_1,z_2)-->(z_1^2,z_2^2,\sqrt{2}{z}_1{z}_2)\\ \varphi (X)\varphi (Z)=x_1^2{z}_1^2+x_2^2{z}_2^2+2x_1{x}_2{z}_2{z}_2\\ K<X,Z>(核函数)=(X\ast Z{)}^2=x_1^2{z}_1^2+x_2^2{z}_2^2+2x_2{x}_2{z}_1{z}_2\\ \\ \varphi (x)\varphi (z)=K<X,Z>\\ 特征高维映射后，再求内积和直接使用核函数带入样本点求解结果一样\\ \\ 则求\lambda 最优解问题，可改写如下：\end{array}$$