支持向量机原理及应用示例（一）

SVM（支持向量机）原理与示例（1）

支持向量机在做什么？

应用场合：给定一个线性可分的训练样本集$$D=\{(x_1,y_1),(x_2,y_2),...，(x_m,y_m)\},y_i\in \{-1,+1\}$$则SVM分类学习算法的目的是找到一个超平面（Hyper plane)，这个超平面可以把两类样本给分离开。
注意：我们首先讨论样本空间线性可分的问题，随后讨论样本空间近似线性可分，最后讨论样本空间线性不可分

第一个问题：超平面在哪里？

注意：我们首先讨论的仍然是样本空间线性可分的问题
Q：存在的超平面特别多，具体应该寻找哪一个呢？
$A_1$：从抽象语言来描述，我们需要找到的超平面应该是在两类特征样本的“正中间”，这样它的容忍性最好，也更加鲁棒。
$A_2$：从数学语言来描述，我们先来定义一些东西
（1）超平面可以用下面的线性方程来表示$$w^{T}x+b=0,$$（2）样本空间中的任意一点$x$到超平面$(w,b)$的距离可以写做$$r=\frac{\left|\begin{array}{c}{w}^{T}x+b=0\end{array}\right|}{\Vert \begin{array}{c}w\end{array}\Vert }$$

注：点到平面的距离$$d=\frac{\left|\begin{array}{c}PA\cdot n\end{array}\right|}{\left|\begin{array}{c}n\end{array}\right|}$$样本空间任意一点到超平面距离可由此公式推来，具体推导略，因为不重要！

（3）假设超平面$(w,b)$可以将训练样本正确分类，则有若$y_i=+1$，则有$w^T{x}_i+b>0$;若$y_i=-1$，则有$w^T{x}_i+b<0$.令$$\{\begin{array}{l}{w}^{T}x+b\ge +1,y_i=+1\\ w^{T}x+b\le -1,y_i=-1\end{array}$$其中距离超平面最近的几个训练样本使得上式子的等号成立，这些样本称之为支持向量（support vector)，两个异类支持向量到超平面的距离之和为$$\gamma =\frac{2}{\Vert \begin{array}{c}w\end{array}\Vert }.$$我们把这玩意叫做间隔（margin).

利用上面（2）中的距离公式和（3）里面提到的等式成立的条件来求，很容易的~水平：小学一年级

所以回到上面的话题来，我们想要按照抽象语言说的那样，这个超平面需要这个超平面的容忍性最好，正中间，鲁棒性最好，因为SVM的发明人Vapnik想到我把这两个异类支持向量到超平面的距离之和最大不就可以了吗？也就是要找到”最大间隔"。那我们具体怎么来做呢？

第二个问题：如何去寻找超平面呢？

注意：我们首先的还是讨论样本空间线性可分的问题

就是找到能够满足（3）中不等式组的$w$和$b$，使得（3）中的$\gamma$最大，就可以得到一组优化问题，即$$\underset{w,b}{\max }\frac{2}{\Vert \begin{array}{c}w\end{array}\Vert }$$$$s.t.y_i（w^T{x}_i+b)\ge 1,i=1,2,...,m.$$我们来修改一下，把它变成凸二次规划问题（Quadratic programming）$$\underset{w,b}{\min }\frac{1}{2}{\Vert \begin{array}{c}w\end{array}\Vert }^2$$$$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m$$上面的式子就是支持向量机（Support Vector Machine,SVM）的基本型。(与后续的对偶问题对应）

二次规划问题是指，目标函数（Objective function）是二次项，限制条件是一次项，所以我们做了这样的修改，那么为什么要改成二次规划问题呢(凸优化)？是因为二次规划问题要么只有一个极值，要么无解，所以做了这样的改动。而且凸二次规划问题是有现成的计算包进行求解的，所以才需要这样去做。

第三个问题：更加高效地去求解凸二次规划的方法

注意：我们首先的依旧讨论样本空间线性可分的问题
Q： Vapnik想到应用拉格朗日对偶性，通过求解对偶问题（dual problem）得到原始问题（primal problem）的最优解。为什么可以呢？对偶问题和原始问题的关系是什么?又或者你可以去问对偶问题、原始问题是什么？他们又和拉格朗日函数有什么关系？为什么利用一定要利用对偶问题去解决原始问题？同志们，带着这些问题你来学一下下面的东西，PS：我们要引入一个牛逼的东西了，叫做KKT条件，具体是什么呢？请您慢慢来看。//相关解答在这个问题最后去做一下个人理解的回答。

我们先来引入原始问题的定义，假设$f(x),c_i(x),h_j(x)$是定义在${\mathbb{R}}^n$上连续可微的函数,考虑约束最优化问题$$\underset{x\in {\mathbb{R}}^n}{\min }=f(x)$$$$s.t.c_i(x)\le 0,i=1,2,...,k$$$$h_j(x)=0,j=1,2,...,j$$
接下来我们补充一下高数上面讲到的拉格朗日函数（ps：多元函数的极值及求法那一章，我记得我考研的时候还考了）广义的拉格朗日函数可以定义为如下$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$其中${\alpha }_i,{\beta }_i$是拉格朗日乘子，${\alpha }_i\ge 0$.

我们来考虑一个关于$x$的函数的原问题的描述如下：$${\theta }_P(x)=\underset{\alpha ,\beta :\alpha \ge 0}{\max }L(x,\alpha ,\beta )$$如果某个$i$使得约束$c_i(x)>0$或者存在某个$j$使得$h_j(x)\ne 0$,这样我们可以令$\alpha \to +\infty$,或者某个$j$可令${\beta }_j{h}_j(x)\to +\infty$,而将其余的${\alpha }_i,{\beta }_j$均取$0$。那么就会使得$${\theta }_P(x)=\underset{\alpha ,\beta :\alpha \ge 0}{\max }[f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)]=+\infty$$反之，如果$x$满足原始问题约束条件，则可以由拉格朗日函数知，${\theta }_P(x)=f(x)$。因此，$${\theta }_P(x)=\{\begin{array}{l}f(x),x满足原始问题约束\\ +\infty ,其他\end{array}$$
如果考虑关于$x$函数最小问题，则可以转换为$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$这样就可以将原始问题的解等价为拉格朗日函数的极小极大问题。为啥牛逼呢，请往下看

我们接着引入对偶问题的定义（提前透漏一下，即是拉格朗日函数的极大极小问题），首先定义$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$接着极大化上述问题，即$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$接着我们把广义拉格朗日极大极小问题表示为约束最优化问题:$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$$$s.t.{\alpha }_i\ge 0,i=1,2...,k$$ Tip：约束最优化问题求min和max只是符号的问题，仔细对比一下就可以发现
至此，原始问题的对偶问题定义完毕，那么对偶问题的最优值定义为$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )$$
结合刚原始问题，我们定义原始问题的最优值为$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)$$下面我们来记住三个定理（具体推理手推一下就可以出来,很easy,可是试着推导一下)来表明原始问题和对偶问题解的关系

定理1 \quad 若原问题与对偶问题都有最优值，则$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$则由此可以推论设$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$是两个问题的可行解。并且$d^{\ast }=p^{\ast }$,那么他们分别就是两个问题的最优解，即$x^{\ast }$是原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的最优解。

定理2 \quad 假设函数$f(x)$和$c_j(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_j(x)$严格执行，则存在$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$，使得$x^{\ast }$是原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的最优解，并且$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$.

定理3 \quad 假设函数$f(x)$和$c_j(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_j(x)$严格执行，则$x^{\ast }$是原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的最优解的充分必要条件是KKT条件：$${\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$$$a_i^{\ast }{c}_i(x^{\ast })=0i=1,2,...,k$$$$c_i(x^{\ast })\le 0i=1,2,...,k$$$$a_i^{\ast }\ge 0i=1,2,...,k$$$$h_j(x^{\ast })=0j=1,2,...,j$$

广义地来说，我们可以看到完全可以在限制条件都满足的条件下来通过求解对偶问题来获得原始问题的求解，而对偶问题的求解我们可以首先求$L(x,\alpha ,\beta )$对$x$的极小（朋友们，想想高数是不是方法已经出来了），然后再对$\alpha ,\beta$求极小得到。下面我们俩根据SVM的实际需求来看看。

首先我们构建出一个基于SVM基本型的拉格朗日函数。定义拉格朗日函数如下$$L(w,b,\alpha )=\frac{1}{2}{\Vert \begin{array}{c}w\end{array}\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$(注意这个拉格朗日函数没有$\beta 那一项$，然后你对照一下SVM基本型就可以知道了。）
根据拉格朗日的对偶性，原始问题的对偶问题是极大极小问题：$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

PART1:求解对偶问题的解

1、求$\underset{w,b}{\min }L(w,b,\alpha )$

将拉格朗日函数分别对$w,b$求偏导为零可以得到，来来来求一下~$${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$$${\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

Tip:若$f(w)=\frac{1}{2}{\Vert \begin{array}{c}w\end{array}\Vert }^2$,则$\frac{\partial f(w)}{\partial w}=w$；若$f(w)=w^{T}x$，则$\frac{\partial f(w)}{\partial w}=x$具体见范式求导与矩阵求导#

得$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$我们把上面两个结果带进去拉格朗日函数，可得（自己去带啊）:$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

Tip:$\frac{1}{2}{\Vert \begin{array}{c}w\end{array}\Vert }^2=w^T\cdot w$

2、求$\underset{w,b}{\min }L(w,b,\alpha )$对$\alpha$的极大

即对偶问题$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$${\alpha }_i\ge 0,i=1,2,...,N$$我们把最大问题转换为最小问题，结合之前原问题与对偶问题的关系定理，我们可以知道对对偶问题求解即可以得到原始问题的解。转换后的等价对偶最优化问题是：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$${\alpha }_i\ge 0,i=1,2,...,N$$

PART2:求解原问题的解

在得到对偶问题最优解${\alpha }^{\ast }$后，可利用下面式子去求得原始问题的最优解
你可以这样去想，根据定理2我们可知，现在原始问题肯定有一个最优解w*,b*;而现在对偶问题也有最优解a*,那么根据定理3我们知道他们肯定满足KKT条件，这样就可以通过对偶问题得到原始问题的最优解了$$w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i$$$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$现在我们来回答最开始的问题.
$Q1$：通过求解对偶问题（dual problem）得到原始问题（primal problem）的最优解。为什么可以呢？
$A$：我认为通过上述三个定理去证明了可行性并给予了计算的步骤。
$Q2$：为什么利用一定要利用对偶问题去解决原始问题？
$A$：一般来说对偶问题都容易求解，从这个可以看出单纯从数量上来说，对偶问题只用求解$\alpha$一个量；二是大家看到$x_i\cdot x_j$这一个项了嘛？这是样本内积，这对后面我们引入核函数来对非线性可分样本提供了思路。

总结：通过上面问题我们可以这样说，我们已经可以很完美地解决线性可分样本的分类问题了，怎么解决呢？分类的决策函数可以写成：$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$具体算法是什么呢?
思路大概是什么样子呢：首先求对偶问题的解a*,然后求得原始问题w*,b*。得到超平面及分类决策函数。这种算法名字叫做 线性可分支持向量机学习算法
大家可以尝试写一下。
一些小细节
（1）在计算$b^{\ast }$的时候，注意到$y_j$,我们可以挑选一个${\alpha }^{\ast }$中的正分量${\alpha }_j^{\ast }>0$来计算。
（2）大家会发现，在计算$w^{\ast }$和$b^{\ast }$时候，用到了样本$x$的内积，这个东西就很有意思了，怎么有意思呢？我们且在后面慢慢分析。

PART3:线性可分支持向量机学习算法

---

输入：线性可分训练集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N\}$，$y\in \{-1,+1\},i=1,2...,N;$
过程：
1：构建并求解约束最优化问题$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$${\alpha }_i\ge 0,i=1,2,...,N$$求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T。$
2：计算$w,b$$$w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i$$并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
3：求得超平面$$w^{\ast }\cdot x+b^{\ast }=0$$以及分类决策函数$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
输出：分离超平面和分类决策函数。

---

当然，世界上只有很少很少的分类问题是线性可分的。

第四个问题：如果有一些“逆子”样本不遵守线性可分怎么办？

考虑这样一个问题，总有一些训练数据是“不听话”的，无法满足上面方法中不等式约束，或者说，使用之后出现“过拟合”现象，那怎么办呢?考虑下面一个目标函数：$$\underset{w,b}{\min }\frac{1}{2}{\Vert \begin{array}{c}w\end{array}\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
这个函数应该怎么解释呢？
1）首先他是对原问题优化问题目标函数的优化，目的是使得间隔最大化，同时要使得不满足样本的数目尽可能少。
2）我们抱着这个目的去思考上面这个目标函数，前半个式子我们不用考虑了即是为了实现最大化间隔的目标，那么后面一项$C{\sum }_{i=1}^N{\xi }_i$是为了什么呢？不言而喻是为了实现不满足样本数目尽量少的目标。
3）要想了解后面一项具体是怎么实现不满足样本数量尽量少的目标的，我们需要对${\xi }_i$进行一个定义，我们把他称之为松弛变量（stack variables），这个变量的目的是挑选出不符合约束$y_i(w^T{x}_i+b)\ge 1.$的点。考虑到这点，我们继续看前面的常数$C$。
4）接着我们来定义一下其中$C$称之为惩罚参数（本质是一个大于$0$的常数），由应用问题决定，当$C>0$时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。换言之我们可以考虑极限情况，当$C$无穷大时，那么任何一个不符合约束的样本都会对整体的值产生深远的巨大的让人无法接受的结果，无法完成$min$的目的，因此优化算法会迫使所有样本都去满足约束，于是他就和未加松弛变量是一个效果。而换言之，当$C$取得有限值得时候，我们就可以允许一些样本不去满足约束，便达到了我们的目的。所以$C$的选取特别有意义啊，根据实际应用问题取做一个选择。

那么，线性不可分的线性支持向量机的学习问题变成了如下的凸二次规划问题（原始问题）:$$\underset{w,b,\xi }{\min }\frac{1}{2}{\Vert \begin{array}{c}w\end{array}\Vert }^2+C\sum _{i=1}^N{\xi }_i$$$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N$$$${\xi }_i\ge 0i=1,2,...,N$$大家可以按照上面对待原问题变换成对偶问题的步骤来求解一下这个原问题的对偶问题是什么？
Tip:首先将原问题的拉格朗日函数写出来，注意因为s.t多了一项，所以在拉格朗日函数里面也应该多一项\mu_i；然后对偶问题求拉格朗日极大极小问题，第一步求解L(w,b,\xi,\alpha,\mu)对w,b,\xi的极小，再对极小结果求\alpha的极大便可以得到
原问题的对偶问题是:$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0$$$${\alpha }_i\ge 0$$$${\mu }_i\ge 0i=1,2,...,N$$对后面三个约束条件进行变换可以得到$$0\le {\alpha }_i\le C$$
因此可以得到增加软间隔后得线性可分支持向量机学习算法如下：

---

输入：线性可分训练集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N\}$，$y\in \{-1,+1\},i=1,2...,N;$
过程：
1：构建并求解约束最优化问题$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C,i=1,2,...,N$$求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T。$
2：计算$w,b$$$w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i$$并选择${\alpha }^{\ast }$的一个正分量$0\le {\alpha }_j^{\ast }\le C$，计算$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
3：求得超平面$$w^{\ast }\cdot x+b^{\ast }=0$$以及分类决策函数$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
输出：分离超平面和分类决策函数。

---

那么至此，线性支持向量机学习来说，学习策略是软间隔最大化，学习算法为凸二次规划。总结一下：利用对偶问题优化了求解步骤，并埋下一个很大的向量内积的伏笔;随后利用软间隔的措施，可以使得样本有一些容错率。

第五个问题：分类问题是非线性的怎么办？

记得Minsky在1969年《perceptron》中提过，日常中很多问题都是非线性可分的。那么我们应该怎么办呢？
策略:首先使用一个变换将原空间的数据映射到新空间；随后在新空间里用线性分类方法从训练数据中学习分类模型。
而牛逼的核技巧就基于这种策略，他通过一个非线性变换将输入空间（欧式空间或离散集合）对应于一个特征空间（希尔伯特空间），使得在输入空间中的超曲线模型对应于特征空间的超平面模型，这样分类问题学习任务通过在特征空间中求解线性支持向量机就可以完成。
提到核技巧就不得不提核函数，下面定义：$$\varphi (x):\mathcal{X}\to \mathcal{H}$$这样的映射存在，使得对于所有的$x,z\in \mathcal{X}$，函数$K(x,z)$满足条件$$K(x,z)=\varphi (x)\cdot \varphi (z)$$则称$K(x,z)$为核函数，$\varphi (x)$为映射函数。//其实按照我的理解，就是有技巧地升维处理了一波。
我们用核函数进行代替对偶问题目标函数中的内积，则目标函数成为了$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$同样分类决策函数也可以变为$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$
那么这个升维度肯定不能乱升，举个例子，二维平面上的东西你统一升到三维但是还在一个平面上，那么是不是依旧没办法线性可分。所以这个函数$K(x,z)$必须满足一定的条件才能变成可以用的核函数。条件是什么呢？那就是这个函数必须是正定核函数。
各位看官想看详细地证明过程，可以私信我，也可以去买一本《统计学习方法》里面有~
那么，常用的核函数包括多项式核函数、高斯核函数、线性内核、Tanh核、字符串核函数。如果是软件包那么肯定给各位预留出了这些接口。
至此，我们可以得到非线性支持向量机的学习算法。

---

输入：线性可分训练集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N\}$，$y\in \{-1,+1\},i=1,2...,N;$
1：选取合适的核函数和适当的参数$C$，构建并求解约束最优化问题$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C,i=1,2,...,N$$求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T。$
2：计算$w,b$$$w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i$$并选择${\alpha }^{\ast }$的一个正分量$0\le {\alpha }_j^{\ast }\le C$，计算$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i\cdot x_j)$$
3：求得超平面$$w^{\ast }\cdot x+b^{\ast }=0$$以及分类决策函数$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$
输出：分离超平面和分类决策函数。

最后说明一下我们一般使用序列最小最优化（sequential minimal optimization, SMO）算法取实现凸二次规划的对偶问题。

具体实现我们将在下一期讲述~

参考资料：
1、浙江大学B站《机器学习》；
2、机器学习西瓜书；
3、统计学习方法，李航。
请各位支持正版，尽量去购买书籍完成详细地推导。为社会主义建设添砖加瓦~

最后希望女朋友可以考研成功~