【深度学习】全面理解支持向量机SVM（七）

终于到了梳理支持向量机(SVM) 这个大知识点了，好鸡冻！！！因为理解SVM牵涉的内容实在是太多了：分类函数，最大化分类间隔，凸二次规划，拉格朗日乘数法、原始问题与对偶问题的转换，KKT条件，SMO算法等等。。。这些内容其实可归为最优化问题的求解，理解完SVM，那么上面提到的知识点手推数学公式都就不成问题了！

注：这篇文章主要介绍SVM解决线性可分问题。下一篇文章（八）是介绍SVM解决线性不可分问题。

初探-SVM概念

支持向量机（Support Vector Machines，SVM）是建立在统计学习理论基础上的一种数据挖掘方法，能够处理回归问题（时间序列分析）和模式识别（分类问题、判别分析）等问题。它的机理是寻找一个满足分类要求的最优分类超平面（之所以叫做超平面，是因为被分类的数据可能是多维度的），使得在保证分类精度的同时，超平面两侧的空白区域最大化，即在样本对象的特征空间上间隔最大，理论上，SVM能实现对线性可分数据的最优分类。SVM是一个二元分类模型的广义线性分类器，其决策边界是对样本求解的最大边距超平面（maximum margin hyperplane）。

插入通俗的解释：上面的概念太抽象了，下面举两个现实的栗子说明SVM的作用。

支持向量机SVM就是用来解决分类问题的（二分类：即只将数据分成两种类别）。

• 以一维情况来举例：一维即要分类的物体属性只有一种，比如说需要分类：沙子和石头，那么可以用筛子就可以将两者分开，如果要用函数来表示，就是当直径d大于设定值D，就判断为石头，小于就是沙子，故有：$$\begin{gathered} d>D,x=石头 \\ d<D,x=沙子 \end{gathered}$$
• 以 二维情况 来举例（线性可分）：二维即要分类的物体属性有两个，比如说要分类：车的品牌：宝马和大众。假设决定这两个品牌的属性有两个：价格x和性能y，那么我们把数据(x,y)放在一个二维坐标系中作为点，然后找到一条直线将两个类别分开；比如说x+y+1=0这条直线可以分开，在直线左边就是宝马，直线右边就是大众，那么就有：$$\begin{gathered} x+y+1>0,类别=宝马 \\ x+y+1<0,；类别=大众 \end{gathered}$$
• 以此类推，可能有属性是三维，四维，N维的情况，那么要将类别分开的就不是直线了，而是平面，超平面。

以上就是通俗的栗子，相信这样的解释应该很容易理解。好了，下面接着回到复杂的概念当中。

在上面的概念中，提到了相当多的专业名称，因此要理解SVM，我们首先需要了解什么是线性分类器，什么是特征空间的最大间隔/边距超平面，还有怎么求最优分类？下面，就一一进行梳理。

线性分类

线性可分性

（直观理解） SVM就是解决线性分类问题，简单来说能被一个超平面分开的数据，就是线性可分的。因为线性分类问题，对二维数据来说，一条直线能分开两类数据，而直线是线性；对三维数据来说，一个平面也能把数据分开两边。但是如果是非线性的情况，那么分开数据的就是曲线和曲面了。

（概念理解） 在分类问题中给定输入数据和学习目标（即二维数据X和Y）：$X=\{X_1,...,X_N\},Y=\{y_1,...,y_N\}$ ，其中输入数据的每个样本都包含多个特征并由此构成特征空间（feature space): $X=\{X_1,...,X_N\}$ ，而学习目标为二元变量$y\in \{-1,1\}$（将二维样本$(X,Y)$对应分为两类），y=-1表示负类（negative class）和y=1正类（positive class）。

读到这里，可能会有些疑问：为什么y∈{−1,1}，y只能是-1，和1吗？不能是y =0表示反例，y=10表示正例，或y=-5表示反例，y=5表示正例吗？答案是：当然可以。记住，y 只是一个label ，标注为{-1，1}只是为了描述和求解方便

定义： 若输入数据$X$所在的特征空间 $x$ 存在作为决策边界（decision boundary）的超平面可以将学习目标按正类（黑圈）和负类（白圈）分开，并使任意样本的点到平面距离大于等于1（最大间隔）：

• decision boundary : $w^{T}x+b=0$
• point to plane distance: $y_i(w^{T}x+b)\ge 1$

则称该分类问题具有线性可分性，参数w，b分别为超平面的法向量和截距。
满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：
$$\begin{gathered} w^{T}X+b\ge +1\Rightarrow y=+1(类别=正类) \\ {w}^{T}X+b\le -1\Rightarrow y=-1(类别=负类)\text{\hspace{1em}(1)} \end{gathered}$$
所有在上间隔边界上方的样本属于正类，在下间隔边界下方的样本属于负类。两个间隔边界的距离被定义为边距（margin），位于间隔边界上的正类和负类样本为支持向量（support vector）。

解释： 假设超平面为$f(x)$，在进行分类时，只需要将新的数据点x代入到f(x)中，如果大于0则判别为正类，如果小于0，判别成负类，但实际上能将数据按正类和负类分开的超平面有很多个，如何能确定哪个超平面最好？换句话说：哪个超平面才是最适合分开将数据分开成正负类的，且出错的概率是最小的呢？这个判定的标准就是我们要找到一个超平面离它两边的数据的距离是最大的， 因此，筛选超平面的问题就变成寻找有最大距离的超平面。

间隔

本来不想引入这么多概念的，但是如果你去查阅其他资料，你会看到别人解释SVM是有相当多的专业名称，而且不理解这些名词概念，对你理解SVM是有很大影响的，所以为了与教材保持一致，还是解释一下这些名词。

刚才说到筛选超平面判定的标准是超平面离它两边的数据的距离是最大的。这里的距离，在SVM中有另一种叫法（仅仅是叫法，人为规定的名称）叫做：几何间隔。

几何间隔

假设超平面为$f(x)=w^{T}x+b$，$y$代表正负类别，那么几何间隔（geometrical margin）的定义，用$r^{\prime }$表示是：
$$r^{\prime }=\frac{|w^{T}x+b|}{||w||}=\frac{f(x)}{||w||}\text{\hspace{1em}(2)}$$
我们都知道，$\frac{w^{T}x+b}{||w||}$可以表示点x到平面f(x)的距离。y表示分类的类别，而y与f(x)永远都是同号，那么我们就可以将两者相乘变成绝对值，这就与点x到平面f(x)的距离是一样的，就得到了几何间隔的另一种表示方法，即：$$r^{\prime }=\frac{y(w^{T}x+b)}{||w||}=\frac{yf(x)}{||w||}\text{\hspace{1em}(2-1)}$$

（推理证明） 我们知道超平面的函数定义为$f(x)=w^{T}x+b$，如果f(x)=0，那么x就是落在超平面上的点，而f(x)大于0的点，就是对应y=1正类的数据点；f(x)小于0的点，就是对应y=-1负类的数据点。

根据点到面的距离公式，我们可以计算出空间中任意样本点$x$到超平面的距离为：$r=\frac{|w^{T}x+b|}{||w||}$

根据图，利用平面几何知识，就有（式1）：$x=x_0+r\frac{w}{||w||}$，其中$\frac{w}{||w||}$是单位向量，$||w||$表示法向量w的长度。

又因为$x_0$在超平面上，即$w^T{x}_0+b=0$，代入（式1）化简：

同样能得到（式2）：$r=\frac{w^{T}x+b}{||w||}$，因为距离一定是正值，因此还需要加上绝对值，同样能得到$r=\frac{|w^{T}x+b|}{||w||}$。下面就到了找超平面的最大距离！！！

最大间隔

在上面的定义（1）中，有：
$$\begin{gathered} w^T{x}_i+b\ge 0时，对应y_i为正类，\Rightarrow y_i=+1 \\ {w}^T{x}_i+b\le 0时，对应y_i为负类，\Rightarrow y_i=-1 \end{gathered}$$
因此，SVM的目标是获取最大分类间隔，即超平面离它两边的数据最近点的距离d：
$$\begin{gathered} \max d \\ s.t.y_i(w^T{x}_i+b)\ge 0，i=1,...,n\text{\hspace{1em}(3)} \end{gathered}$$

上面介绍的几何间隔$r^{\prime }$是绝对值，为正数；而$(w^T{x}_i+b)$与$y_i$，代表类别，有正负号，但是它们又刚好同号，构造条件以x和y为约束，因此将两者相乘，显然得到$y_i(w^T{x}_i+b)\ge 0$恒成立。距离d就是我们上面所提到的单侧最近样本点到超平面的距离$r=\frac{|w^{T}x+b|}{||w||}$的两倍（双侧），这其实就是求几何间隔的最大值。即:
$$d=2r=2\ast \underset{w,b,x_i}{\min }\frac{|w^T{x}_i+b|}{||w||}=2\ast \underset{w,b,x_i,y_i}{\min }\frac{y_i(w^T{x}_i+b)}{||w||}，(i=1,...,n)\text{\hspace{1em}(3-1)}$$

于是，SVM的目标就变为找到一组合适的参数(w,b)，使得（式4）：
$$\begin{gathered} \underset{w,b}{\max }\frac{1}{||w||}2\ast \underset{x_i,y_i}{\min }{y}_i(w^T{x}_i+b) \\ s.t.y_i(w^T{x}_i+b)\ge 0，i=1,...,n\text{\hspace{1em}(4)} \end{gathered}$$

到这里，上面（式3）描述的其实是一个含有不等式约束条件的优化问题，我们引入凸二次规划来对上（式3）进行化简。关于凸二次规划的优化问题具体可查看这篇文章，我也有相应的整理。

化简上面的优化问题，我们需要引入一个的引理1 ，即：若($w^{\ast },b^{\ast })$是优化问题（式3）的解，那么对任意$r>0，(r{w}^{\ast },r{b}^{\ast })$仍然是该优化问题的解，证明：

$$\begin{gathered} \frac{2}{||r{w}^{\ast }||}|(r{w}^{\ast }{)}^T{x}_i+r{b}^{\ast }|=\frac{2}{||w^{\ast }||}|w^{\ast T}{x}_i+r{b}^{\ast }|， \\ {y}_i((r{w}^{\ast }{)}^T{x}_i+r{b}^{\ast })\ge 0\iff y_i(w^{\ast T}{x}_i+b^{\ast })\ge 0 \end{gathered}$$

由于对(w,b)的放缩并不影响解，为了简化优化问题，我们约束(w,b)使得：
$$\underset{i}{\min }|w^T{x}_i+b|=1$$

因此，SVM的目标从（式3）进一步变成（式4-1）：
$$\begin{gathered} \underset{w,b}{\max }\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,..,n\text{\hspace{1em}(4-1)} \end{gathered}$$

很显然，我们就是要求解上面（式4-1）的优化问题，找到一条符合这样条件的超平面来分开两类数据，这个超平面离两类样本距离是最大的，即间隔最大，最终确定参数w和b。

求解：

接着，就是要找到该优化问题的一组最合适的参数(w,b)，使得：
$$\begin{gathered} \underset{w,b}{\max }\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,..,n\text{\hspace{1em}(4-1)} \end{gathered}$$
根据最大最小问题的相互转化，最大化 $\frac{2}{||w||}$ 相当于最小化 ||w||，因此可将问题转化为：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,..,n\text{\hspace{1em}(4-2)} \end{gathered}$$
到这里，就得到了SVM的基本型。基本型的目标函数是二次，约束条件是线性的，这是一个凸二次规划问题（凸二次规划问题介绍），可运用转换为对偶问题来解决，关于原始问题与对偶问题的转换具体戳着。

SVM基本型的对偶转化

看到这里，非常建议你先普及一下原始问题和对偶问题的转化以及求解，才有利于下面内容的理解。对于凸二次规划问题，可通过拉格朗日乘数法来进行求解。首先，根据拉格朗日公式，将约束条件（$y_i(w^T{x}_i+b)\ge 1$变成$(1-y_i(w^T{x}_i+b))\le 0$，这是拉格朗日的条件形式)去掉，加上拉格朗日乘子(${\lambda }_i\ge 0$)，得到拉格朗日函数（式5）：
$$L(w,b,\lambda )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\lambda }_i(1-y_i(w^T{x}_i+b))\text{\hspace{1em}(5)}$$
令原始问题为：
$${\theta }_p(w,b)=\underset{{\lambda }_i\ge 0}{\max }L(w,b,\lambda )\text{\hspace{1em}(5-1)}$$
那么，我们SVM的目标函数就变成：
$$\underset{w,b}{\min }{\theta }_p(w,b)=\underset{w,b}{\min }\underset{{\lambda }_i\ge 0}{\max }L(w,b,\lambda )\text{\hspace{1em}(6)}$$
而将最大最小化操作的位置交换，就得到相对应的对偶问题 就是：
$$\underset{{\lambda }_i}{\max }{\theta }_d(\lambda )=\underset{{\lambda }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\lambda )\text{\hspace{1em}(5-2)}$$
原始问题和对偶问题的最优解是满足${\theta }_p^{\ast }\ge {\theta }_d^{\ast }$，在满足某些条件的情况下，等号相等时，就可以通过求解对偶问题来求解原始问题了。因为，原始问题是先得到最小的w和b，再求解拉格朗日乘子$\lambda$，这样的步骤很难进行，因为w和b本来就是我们要求解，这样得不到一点简化，反而还增加了参数$\lambda$，而转换为对偶问题来求解，就是先固定$\lambda$，求解w和b。

使用KKT条件求解

凸二次优化的原始问题和对偶问题的最优解是满足${\theta }_p^{\ast }\ge {\theta }_d^{\ast }$，在满足某些条件的情况下，等号相等时，就可以通过求解对偶问题来求解原始问题了。这里的某些条件 指的是正是KKT条件。（关于KKT条件的介绍，我也有整理，可以看（六））

KKT条件是一个线性规划问题能有最优解的充分和必要条件。

根据KKT的满足条件，我们的问题可以转化为：

1. 先固定参数$\lambda$，令$L(w,b,\lambda )$的$w,b$偏导数为0，求最小，
2. 再令$L(w,b,\lambda )$的$\lambda$的偏导数为0，求最大。

第一步：对参数w和b求偏导

先令$L(w,b,\lambda )$的$w,b$偏导数分别为0，得到：
$$\begin{array}{rl}\frac{\vartheta L}{\vartheta w}& =w-\sum _{i=1}^n{\lambda }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i\\ \frac{\vartheta L}{\vartheta b}& =\sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$
代入拉格朗日函数（式5）进一步化简：
$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\lambda }_i(1-y_i(w^T{x}_i+b))\\ & =\frac{1}{2}{w}^{T}w+\sum _{i=1}^n{\lambda }_i-\sum _{i=1}^n{\lambda }_i{y}_i{w}^T{x}_i-\sum _{i=1}^{n}b{\lambda }_i{y}_i\\ & =\frac{1}{2}{w}^T(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i)-w^T(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i)-b\sum _{i=1}^n{\lambda }_i{y}_i+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}{w}^T(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i)+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i{)}^T(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i)+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^n{\lambda }_i{y}_i(x_i{)}^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1,j=1}^n{\lambda }_i{y}_i(x_i{)}^T{\lambda }_j{y}_j{x}_j+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}(\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j)+\sum _{i=1}^n{\lambda }_i\\ & =\sum _{i=1}^n{\lambda }_i-\frac{1}{2}(\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j)\end{array}\text{\hspace{1em}(7)}$$

我们可以看到化简的最后一条式子中只包含了$\lambda$变量了，此时的拉格朗日函数就只与$\lambda$有关系，也就是说，求解出$\lambda$就可以得到w和b了。

第二步：对拉格朗日乘子求极大值

剩下来就是对$\lambda$求极大了，这是属于对偶问题的最优化，把上面的对偶问题定义放下来：
$$\underset{{\lambda }_i}{\max }{\theta }_d(\lambda )=\underset{{\lambda }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\lambda )\text{\hspace{1em}(5-2)}$$
再把上面化简后得到L函数代入，得到：
$$\begin{array}{rl}\underset{{\lambda }_i}{\max }{\theta }_d(\lambda )=\underset{{\lambda }_i\ge 0}{\max }L(w,b,\lambda )& =\underset{{\lambda }_i}{\max }(\sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j)\\ s.t.& {\lambda }_i\ge 0,i=1,..,n\\ & \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(7)}$$

这里对$\lambda$的求解，需要借助SMO算法。

SMO算法

序列最小化优化算法（Sequential Minimal Optimization，SMO）是专门用来求解多参数的对偶问题的，这是一种高效的解决方案，其核心思想是：每次只优化一个参数，其他参数先固定，只求当前这个参数的极值。下面一步步进入算法的思想。

首先，看看上面遗留下来的问题是什么：
$$\begin{gathered} \underset{{\lambda }_i}{\max }\sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.{\lambda }_i\ge 0,i=1,..,n \\ \sum _{i=1}^n{\lambda }_i{y}_i=0 \end{gathered}$$

为了符合规划问题的形式，我们将求最大化的问题换成求最小，因此提取负号，即可得到：
$$\begin{gathered} \underset{{\lambda }_i}{\min }\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^n{\lambda }_i \\ s.t.\sum _{i=1}^n{\lambda }_i{y}_i=0 \\ {\lambda }_i\ge 0,i=1,..,n \end{gathered}$$
这个很显然就符合凸二次规划问题：目标函数是二次型函数，且约束函数是仿射函数（线性函数）。可以直接使用增广拉格朗日法就可以求解，但是好像问题又没那么简单，因为一般的凸二次规划问题求解的是一个变量，而这里求解的是${\lambda }_i，i=1,...,n$，即有n个变量。问题就在这里了，用常规的思路去解决，是很难且效率低下。SMO就是解决这个问题的！！！

在这里，我们的约束条件其实只有：${\sum }_{i=1}^n{\lambda }_i{y}_i=0$。这个条件否决了每次只优化一个参数的情况，因为当我们把除了${\lambda }_1$以外的参数都固定之后，根据这个约束条件，可以直接计算出${\lambda }_1$的值，即${\lambda }_1=-\frac{{\sum }_{i=2}^n{\lambda }_i{y}_i}{y_1}$，这样就不能优化每一个参数了，就没有任意意义了。所以我们只能多选一个参数，每次优化两个参数，固定其他参数。以此SMO的步骤如下：

1. 选择两个需要更新的参数${\lambda }_i,{\lambda }_j$，固定其他参数（初始化其他参数为0），然后修改约束条件。假设选取了${\lambda }_1,{\lambda }_2$看作变量，其他${\lambda }_3,...,{\lambda }_n$看作是固定值，用$\zeta$表示，将目标函数展开，并修改约束条件为：
   $$\begin{gathered} \underset{{\lambda }_1,{\lambda }_2}{\min }\frac{1}{2}({\lambda }_1^2{x}_1^T{x}_1+{\lambda }_2^2{x}_2^T{x}_2)+{\lambda }_1{\lambda }_2{y}_1{y}_2{x}_1^{T}x2+{\lambda }_1{y}_1\sum _{i=3}{y}_i{x}_i^T{x}_1+{\lambda }_2{y}_2\sum _{i=3}{y}_i{x}_i^T{x}_2-{\lambda }_1-{\lambda }_2-k \\ {\lambda }_1{y}_1+{\lambda }_2{y}_2=-\sum _{i=3}^n{\lambda }_i{y}_i=\zeta \\ 0\le {\lambda }_1,{\lambda }_2\le C \end{gathered}$$
   其中k是固定参数的和，目标函数显然是关于${\lambda }_1,{\lambda }_2$的二次函数，可能上面符合太多看起来很乱，但是整理一下常数部分：如$y_1{y}_2,x_1^T{x}_2$就很容易能看出来。

2. 下一步将其中一个参数用另一个参数代替${\lambda }_i=\frac{\zeta -{\lambda }_j{y}_j}{y_i}$，并代入目标函数中，求解出一个参数。分情况讨论：当$y_1和y_2$同号时，即都等于1，那么将限制条件修改一下${\lambda }_1=\zeta -{\lambda }_2$，将其代入到目标函数中，得到：
   $$\underset{{\lambda }_2}{\min }\frac{1}{2}((\zeta -{\lambda }_2{)}^2{q}_{11}+{\lambda }_2^2{q}_{22})+(\zeta -{\lambda }_2){\lambda }_2{q}_{12}+(\zeta -{\lambda }_2)B+{\lambda }_2{B}^{\prime }-\zeta -2{\lambda }_2-k$$
   令上式的导数为0，就可以求解出${\lambda }_2$。

3. 根据约束条件来更新参数，由约束条件可知$0\le {\lambda }_1\le C$和$0\le {\lambda }_2\le C$，同样替换${\lambda }_1$，得到：
   $$\begin{array}{rl}0\le \zeta -{\lambda }_2\le C& \Rightarrow \zeta -C\le {\lambda }_2\le \zeta \\ & \Rightarrow \max (\zeta -C,0)\le {\lambda }_2\le \min (\zeta ,C)\end{array}$$
   根据上面的约束条件，就可以得到新的${\lambda }_2$值，然后再计算得到${\lambda }_1$值，这样就完成一轮的更新了。注意：其实每一轮更新结束后，我们都要更新参数w和b，即执行下面的第三步：根据拉格朗日乘子求解参数w和b，然后才开始新的一轮迭代更新！！！！

4. 开始新的一轮迭代更新，重复第2和第3步，直至知道了全部的${\lambda }_i$满足公式（7）的条件

第三步：根据拉格朗日乘子求解参数w和b

注意：这一步是在每一轮更新结束后执行的。而不是等所有的${\lambda }_i$都确定之后再执行的。

根据最优化问题：
$$\begin{array}{rcl}& & {\min }_{w}f(x)\\ s.t.g_i(x)& \le & 0(i=1,...,k)\\ h_j(x)& =& 0(j=1,...,n)\\ & & \end{array}$$
其拉格朗日函数为：
$$\begin{array}{l}L(x,\alpha ,\beta )=f(x)+{\sum }_i^k{\alpha }_i{g}_i(x)+{\sum }_j^n{\alpha }_j{h}_j(x)\end{array}$$
其最优解$x^{\ast }$需要满足的条件（KKT条件）为：
$$\begin{gathered} L_x^{\prime }(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {L}_{\alpha }^{\prime }(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {L}_{\beta }^{\prime }(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\alpha }_i{g}_i(x^{\ast })=0 \\ {g}_i(x)\le 0 \\ {\alpha }_i^{\ast }\ge 0 \\ {h}_j(x^{\ast })=0 \end{gathered}$$
根据我们的拉格朗日函数（式5）并没有等式约束条件，因此我们只需要满足上面的前6个条件，而第一第二条件是对w和b求偏导等于0，我们在上面已经化简完成了，所以最后需要满足的条件为第3个至第6个条件，即：
$$\begin{array}{r}{L}_{\lambda }^{\prime }=\sum _{i=1}^{n}1-y_i(w^T{x}_i+b)=0;\\ \sum _{i=1}^n{\lambda }_i(1-y_i(w^T{x}_i+b))=0;\\ 1-y_i(w^T{x}_i+b))\le 0;\\ {\lambda }_i\ge 0\end{array}$$
从上面可以看出，对于任意样本i，都有${\lambda }_i=0$或者$y_i(w^T{x}_i+b)=1$，而当${\lambda }_i=0$时，我们可以根据L对w求偏导和对b求偏导得到的式子，求解出w：
$$w^{\ast }=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i$$
再把$w^{\ast }$和${\lambda }_i$代入求出b值：$$b^{\ast }=-\frac{{\max }_{i,y_i=-1}{w}^T{x}_i+{\min }_{i,y_i=1}{w}^T{x}_i}{2}$$
这样就能找到最优的超平面。而当${\lambda }_i>0$时必有$y_i(w^T{x}_i+b)=1$，此时${\lambda }_i$对应的向量正好在最大间隔的边缘上，就是支持向量。

总结

文章讲述了什么是线性可分，以及如何选择一个最佳平面把数据分成两类，这属于优化问题，选择的方法涉及对偶问题，拉格朗日，SMO等。完结！！！！

补：SVM同样可以解决线性不可分问题，具体可以看SVM解决线性不可分（八）。

参考文章：
https://blog.csdn.net/v_JULY_v/article/details/7624837?utm_source=app
https://blog.csdn.net/b285795298/article/details/81977271
https://blog.csdn.net/qq_35992440/article/details/80987664
https://baike.baidu.com/item/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA/9683835?fromtitle=SVM&fromid=4385807&fr=aladdin
https://www.cntofu.com/book/168/docs/ml/6.1.%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA%E7%9A%84%E5%87%A0%E4%B8%AA%E9%80%9A%E4%BF%97%E7%90%86%E8%A7%A3.md
https://blog.csdn.net/qq_39521554/article/details/80723770