支持向量机SVM的推导

1、什么是支持向量机？

• 支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。
• 支持向量机的学习策略就是间隔最大化。
• 支持向量机学习方法包含的模型有：线性可分支持向量机（硬间隔支持向量机）、线性支持向量机（软间隔支持向量机）、非线性支持向量机（核技巧）。
• 序列最小最优化算法（SMO) 的求解

SVM算法的推导非常重要，面试也是常考的，一定要亲自从头到尾手推一遍。
只需要推导线性可分支持向量机学习算法就可以了，需要输出分离超平面和分类决策函数。

2、线性可分支持向量机

训练数据集
$$\begin{array}{rl}& \\ & T=\left\{\left({\mathbf{x}}_1,y_1\right),\left({\mathbf{x}}_2,y_2\right),\cdots ,\left({\mathbf{x}}_N,y_N\right)\right\}\end{array}$$
其中，${\mathbf{x}}_i\in \mathcal{X}={\mathbb{R}}^n,y_i\in \mathcal{Y}=\left\{+1,-1\right\},i=1,2,\cdots ,N$，${\mathbf{x}}_i$为第$i$个特征向量（实例），$y_i$为第${\mathbf{x}}_i$的类标记，当$y_i=+1$时，称${\mathbf{x}}_i$为正例；当$y_i=-1$时，称${\mathbf{x}}_i$为负例，$\left({\mathbf{x}}_i,y_i\right)$称为样本点。

线性可分支持向量机：给定线性可分训练数据集，通过间隔最大化或等价地求解相应地凸二次规划问题学习得到分离超平面，在样本空间中，划分超平面可用$$w^{\mathsf{T}}x+b=0$$表示，记为$(w,b)$。
以及相应的分类决策函数
$$\begin{array}{rl}& \\ & f\left(x\right)=sign\left(w^{\mathsf{T}}\cdot x+b\right)\end{array}$$
称为线型可分支持向量机。其中$w^{\mathsf{T}}$和$b$为感知机模型参数，$w^{\mathsf{T}}\in {\mathbb{R}}^n$叫做权值或权值向量，$b\in \mathbb{R}$叫做偏置，$w^{\mathsf{T}}\cdot x$表示$w^{\mathsf{T}}$和$x$的内积。$sign$是符号函数。

即超平面 $(w,b)$关于样本点$(x_i,y_i)$到划分超平面的函数间隔为${\hat{\gamma }}_i=y_i\left(w\cdot x_i+b\right)$，几何间隔为${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$ ，简写为：$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }$

支持向量机的基本想法就是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，数学公式表达为：

$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & \text{s.t.}{y}_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)⩾\gamma \text{,}i=1,2,\cdots ,N\end{array}$$

即我们希望最大化超平面$(w,b)$关于训练数据集的几何间隔$\gamma$，约束条件表示的是超平面$(w,b)$关于每个训练样本点的几何间隔至少是$\gamma$,根据上面的函数间隔公式和几何间隔公式的关系得出以下公式：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }\\ & \text{s.t.}{y}_i\left(w\cdot x_i+b\right)⩾\hat{\gamma }\text{,}i=1,2,\cdots ,N\end{array}$$

假设将w和b按比例改变为$\lambda$w和$\lambda$b，这时的函数间隔为$\lambda \hat{\gamma }$，函数间隔的这一改变对上面最优化问题的不等式约束公式没有影响，对目标函数的优化也没有影响，那么就可以把$\hat{\gamma }=1$方便推导，即：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{\Vert w\Vert }\\ & \text{s.t.}{y}_i\left(w\cdot x_i+b\right)⩾1\text{,}i=1,2,\cdots ,N\end{array}$$

注意到最大化$\frac{1}{\Vert w\Vert }$ 和最小化$\frac{1}{2}\Vert w{\Vert }^2$（取平方是为了后面方便求导）是等价的，于是就得到下面的线性可分支持向量机最优化问题的公式：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & \text{s.t.}{y}_i\left(w\cdot x_i+b\right)-1⩾0\text{,}i=1,2,\cdots ,N\end{array}$$
通过上面公式，（硬间隔）支持向量就是以训练数据集$T$的样本点中与分离超平面距离最近的样本点的实例，即使约束条件等号成立的样本点
$$y_i\left(w\cdot x_i+b\right)-1=0$$
对$y_i=+1$的正例点，支持向量在超平面
$$\begin{array}{rl}& \\ & H_1:w\cdot x+b=1\end{array}$$
对$y_i=-1$的正例点，支持向量在超平面
$$\begin{array}{rl}& \\ & H_1:w\cdot x+b=-1\end{array}$$
$H_1$和$H_2$称为间隔边界。
$H_1$和$H_2$之间的距离称为间隔，且$|H_1{H}_2|=\frac{1}{\Vert w\Vert }+\frac{1}{\Vert w\Vert }=\frac{2}{\Vert w\Vert }$。

为了方便求解最优化问题，可以应用拉格朗日对偶性，求解他的对偶问题从而得到原始问题的最优解，这就是线性可分支持向量机的对偶算法，这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题，首先先看看拉格朗日函数公式为：

首先假设$f(x),c_i(x),h_j(x)$是定义在${\mathbf{R}}^n$上的连续可微函数，考虑约束最优化问题，即：
$$\begin{array}{rl}& \underset{x\in {\mathbf{R}}^n}{\min }f(x)\\ & \text{s.t.}{c}_i(x)⩽0,i=1,2,\cdots ,k\\ & h_i(x)=0,j=1,2,\cdots ,l\end{array}$$

称次约束最优化问题为原始最优化问题或原始问题，最终引进广义拉格朗日函数，即：
$$L\left(x,\alpha ,\beta \right)=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

这里，$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^T\in {\mathbf{R}}^n$ , ${\alpha }_i,{\beta }_i$是拉格朗日乘子，${\alpha }_i⩾0$

通过上面的拉格朗日函数例子，构建求解线性可分支持向量机的最优化问题，对每一个不等式约束引进拉格朗日乘子$\alpha ⩾0,i=1,2,\cdots ,N$，如下：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题，即：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
为了得到对偶问题的解，需要先求$L(w,b,\alpha )$对$w,b$的极小，再求对$\alpha$的极大

1、求$\underset{w,b}{\min }L(w,b,\alpha )$，将拉格朗日函数$L(w,b,\alpha )$分别对$w,b$求偏导数并令其等于0
$${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$
$${\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$
得
$$\begin{array}{rl}w& =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ 0& =\sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$

将其结果带入公式得：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_j\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$
即
$$\begin{array}{rl}\underset{w,b}{\min }L(w,b,\alpha )& =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$

求$\underset{w,b}{\min }L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题：
$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ & \text{s.t.}\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$

将上面的目标函数由求极大转换成求极小，就得到下面与之等价的对偶最优化问题：
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & \text{s.t.}\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$

由于w的值为：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
最终得到模型：
$$\begin{array}{rl}f(x)& =w^{T}x+b\\ & =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i^{T}x+b\end{array}$$

${\alpha }_i$是拉格朗日乘子，它恰恰对应着训练样本$(x_i,y_i)$，又因为有$y_i\left(w\cdot x_i+b\right)-1⩾0\text{,}i=1,2,\cdots ,N$不等式约束，因此上述过程需要满足KKT条件，即要求
$$\{\begin{array}{r}{\alpha }_i⩾0\\ y_{i}f(x_i)-1⩾0\\ {\alpha }_i(y_{i}f(x_i)-1)=0\end{array}$$

总结：对于任意训练样本$(x_i,y_i)$，总有${\alpha }_i=0$或者$y_{i}f(x_i)=1$，也就是说最终与模型有关的的样本点都位于最大间隔的边界上，我们称之为支持向量，其余的样本点与模型无关

3、线性支持向量机

线性支持向量机（软间隔支持向量机）：给定线性不可分训练数据集，通过求解凸二次规划问题
$$\begin{array}{rl}& \\ & \underset{\mathbf{w},b,\xi }{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ & s.t.y_i\left(\mathbf{w}\cdot {\mathbf{x}}_i+b\right)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
学习得到分离超平面为
$$\begin{array}{rl}& \\ & {\mathbf{w}}^{\mathsf{T}}\cdot \mathbf{x}+b=0\end{array}$$
以及相应的分类决策函数
$$\begin{array}{rl}& \\ & f\left(\mathbf{x}\right)=sign\left({\mathbf{w}}^{\mathsf{T}}\cdot \mathbf{x}+b\right)\end{array}$$
称为线型支持向量机。

最优化问题的求解：

1. 引入拉格朗日乘子${\alpha }_i\ge 0,{\mu }_i\ge 0,i=1,2,\cdots ,N$ 构建拉格朗日函数
   $$\begin{array}{rl}& \\ L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)& =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i\left[-y_i\left(\mathbf{w}\cdot {\mathbf{x}}_i+b\right)+1-{\xi }_i\right]+\sum _{i=1}^N{\mu }_i\left(-{\xi }_i\right)\\ & =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left[y_i\left(\mathbf{w}\cdot {\mathbf{x}}_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^N{\mu }_i{\xi }_i\end{array}$$
   其中，$\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^{\mathsf{T}}$以及$\mu ={\left({\mu }_1,{\mu }_2,\cdots ,{\mu }_N\right)}^{\mathsf{T}}$为拉格朗日乘子向量。
2. 求${\min }_{\mathbf{w},b}L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)$:
   令
   $$\begin{array}{rl}& \\ & {\nabla }_{\mathbf{w}}L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)=\mathbf{w}-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i=0\\ & {\nabla }_{b}L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\nabla }_{{\xi }_i}L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)=C-{\alpha }_i-{\mu }_i=0\end{array}$$
   得
   $$\begin{array}{rl}& \\ & \mathbf{w}＝\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\end{array}$$
   代入拉格朗日函数，得
   $$\begin{array}{rl}& \\ L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i{y}_i\left[\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot {\mathbf{x}}_i+b\right]+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _i^N{\mu }_i{\xi }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)-\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N{\xi }_i\left(C-{\alpha }_i-{\mu }_i\right)\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$

如果显示不全可以看下面这张图：

即
$$\begin{array}{rl}& \\ & \underset{\mathbf{w},b,\xi }{\min }L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$
3.求${\max }_{\alpha }{\min }_{\mathbf{w},b,\xi }L\left(\mathbf{w},b,\xi ,\alpha ,\mu \right)$:
$$\begin{array}{rl}& \\ & \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)+\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i\ge 0\\ & {\mu }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
等价的
$$\begin{array}{rl}& \\ & \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

4、非线性支持向量机

待更新…

4.1 序列最小最优化算法（SMO)

待更新…

5、SVM实例应用

%matplotlib inline

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets,linear_model,model_selection,svm

def load_data_classfication():
    iris=datasets.load_iris()
    X_train=iris.data
    y_train=iris.target
    return model_selection.train_test_split(X_train, y_train,test_size=0.25,
        random_state=0,stratify=y_train) 

def test_SVC_linear(*data):
    X_train,X_test,y_train,y_test=data
    cls=svm.SVC(kernel='linear')
    cls.fit(X_train,y_train)
    print('Coefficients:%s, intercept %s'%(cls.coef_,cls.intercept_))
    print('Score: %.2f' % cls.score(X_test, y_test))
    
def test_SVC_poly(*data):
    X_train,X_test,y_train,y_test=data
    fig=plt.figure()
    
    degrees=range(1,20)
    train_scores=[]
    test_scores=[]
    for degree in degrees:
        cls=svm.SVC(kernel='poly',degree=degree)
        cls.fit(X_train,y_train)
        train_scores.append(cls.score(X_train,y_train))
        test_scores.append(cls.score(X_test, y_test))
    ax=fig.add_subplot(1,3,1) 
    ax.plot(degrees,train_scores,label="Training score ",marker='+' )
    ax.plot(degrees,test_scores,label= " Testing  score ",marker='o' )
    ax.set_title( "SVC_poly_degree ")
    ax.set_xlabel("p")
    ax.set_ylabel("score")
    ax.set_ylim(0,1.05)
    ax.legend(loc="best",framealpha=0.5)

    gammas=range(1,20)
    train_scores=[]
    test_scores=[]
    for gamma in gammas:
        cls=svm.SVC(kernel='poly',gamma=gamma,degree=3)
        cls.fit(X_train,y_train)
        train_scores.append(cls.score(X_train,y_train))
        test_scores.append(cls.score(X_test, y_test))
    ax=fig.add_subplot(1,3,2)
    ax.plot(gammas,train_scores,label="Training score ",marker='+' )
    ax.plot(gammas,test_scores,label= " Testing  score ",marker='o' )
    ax.set_title( "SVC_poly_gamma ")
    ax.set_xlabel(r"$\gamma$")
    ax.set_ylabel("score")
    ax.set_ylim(0,1.05)
    ax.legend(loc="best",framealpha=0.5)
    
    rs=range(0,20)
    train_scores=[]
    test_scores=[]
    for r in rs:
        cls=svm.SVC(kernel='poly',gamma=10,degree=3,coef0=r)
        cls.fit(X_train,y_train)
        train_scores.append(cls.score(X_train,y_train))
        test_scores.append(cls.score(X_test, y_test))
    ax=fig.add_subplot(1,3,3)
    ax.plot(rs,train_scores,label="Training score ",marker='+' )
    ax.plot(rs,test_scores,label= " Testing  score ",marker='o' )
    ax.set_title( "SVC_poly_r ")
    ax.set_xlabel(r"r")
    ax.set_ylabel("score")
    ax.set_ylim(0,1.05)
    ax.legend(loc="best",framealpha=0.5)
    plt.show()
    
def test_SVC_rbf(*data):
    X_train,X_test,y_train,y_test=data
    gammas=range(1,20)
    train_scores=[]
    test_scores=[]
    for gamma in gammas:
        cls=svm.SVC(kernel='rbf',gamma=gamma)
        cls.fit(X_train,y_train)
        train_scores.append(cls.score(X_train,y_train))
        test_scores.append(cls.score(X_test, y_test))
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    ax.plot(gammas,train_scores,label="Training score ",marker='+' )
    ax.plot(gammas,test_scores,label= " Testing  score ",marker='o' )
    ax.set_title( "SVC_rbf")
    ax.set_xlabel(r"$\gamma$")
    ax.set_ylabel("score")
    ax.set_ylim(0,1.05)
    ax.legend(loc="best",framealpha=0.5)
    plt.show()
    
def test_SVC_sigmoid(*data):
    X_train,X_test,y_train,y_test=data
    fig=plt.figure()

    gammas=np.logspace(-2,1)
    train_scores=[]
    test_scores=[]

    for gamma in gammas:
        cls=svm.SVC(kernel='sigmoid',gamma=gamma,coef0=0)
        cls.fit(X_train,y_train)
        train_scores.append(cls.score(X_train,y_train))
        test_scores.append(cls.score(X_test, y_test))
    ax=fig.add_subplot(1,2,1)
    ax.plot(gammas,train_scores,label="Training score ",marker='+' )
    ax.plot(gammas,test_scores,label= " Testing  score ",marker='o' )
    ax.set_title( "SVC_sigmoid_gamma ")
    ax.set_xscale("log")
    ax.set_xlabel(r"$\gamma$")
    ax.set_ylabel("score")
    ax.set_ylim(0,1.05)
    ax.legend(loc="best",framealpha=0.5)
    
    rs=np.linspace(0,5)
    train_scores=[]
    test_scores=[]

    for r in rs:
        cls=svm.SVC(kernel='sigmoid',coef0=r,gamma=0.01)
        cls.fit(X_train,y_train)
        train_scores.append(cls.score(X_train,y_train))
        test_scores.append(cls.score(X_test, y_test))
    ax=fig.add_subplot(1,2,2)
    ax.plot(rs,train_scores,label="Training score ",marker='+' )
    ax.plot(rs,test_scores,label= " Testing  score ",marker='o' )
    ax.set_title( "SVC_sigmoid_r ")
    ax.set_xlabel(r"r")
    ax.set_ylabel("score")
    ax.set_ylim(0,1.05)
    ax.legend(loc="best",framealpha=0.5)
    plt.show()
    
if __name__ == "__main__":
    X_train,X_test,y_train,y_test=load_data_classfication() 
    test_SVC_linear(X_train,X_test,y_train,y_test) 
    test_SVC_poly(X_train,X_test,y_train,y_test) 
    test_SVC_rbf(X_train,X_test,y_train,y_test) 
    test_SVC_sigmoid(X_train,X_test,y_train,y_test) 

输出结果为：

Coefficients:[[-0.16990304  0.47442881 -0.93075307 -0.51249447]
 [ 0.02439178  0.21890135 -0.52833486 -0.25913786]
 [ 0.52289771  0.95783924 -1.82516872 -2.00292778]], intercept [2.0368826 1.1512924 6.3276538]
Score: 1.00

---

参考书籍：

• 《机器学习》- 周志华
• 《统计学习方法》- 李航