《机器学习》（周志华） 第6章 支持向量 学习心得 笔记

第6章 支持向量机 学习心得

间隔与支持向量

支持向量机（Support Vector Machine，SVM）的主要目的就是在特征空间中找到距离正反例最远的分离超平面，由于是“最远”因此与上一章感知机里初值敏感，由误分类点修正最后得到的“初值敏感”的超平面不同，对于线性可分的（linearly separable）数据集，SVM确定的分离超平面是唯一的，超平面上的点可以用“平面”方程表示：
$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$$
而任意样本$\mathbf{x}$到超平面的距离，可以由二维平面的几何简单推导获得：
$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }$$
其中分母取模长来自取超平面法向量的单位向量，分子取绝对值来自于正反例在超平面两侧，法向量指向正例，因此投影时反例要加一个负号取法向量反方向的单位向量，从而使得最终为正值符合几何意义，将负号去掉，加绝对值是等价的，将两种情况统一为一个表达式。
SVM人为规定距离超平面最近的样本的函数间隔是1。这样，超平面两侧没有样本的区域宽度（几何间隔）便为：
$$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }$$
有个专有名字叫做“间隔”（margin），因此SVM就是要在正确分类的情况下，最大化这个间隔。等价地最小化$\Vert \mathbf{w}{\Vert }^2$。因此SVM的原始问题/基本型为：
$$\begin{array}{l}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}$$
可以自然地想到“间隔”仅与距离超平面最近的样本决定，这些样本称为支持向量。

对偶问题（dual problem）

SVM的原始问题是一个凸优化问题，可以用现成的凸优化问题的解决方法来解决，然而将其转换为对偶问题，有时会使问题更加简洁，同时也可以自然地引入核函数。
为了转化为对偶问题，先写出拉格朗日函数：
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$
按照约束最优化问题，求偏导数置0可得：
$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
这样就可以将$\mathbf{w}$用$\alpha$表示。
对偶问题可以表示为：
$$\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$$
$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$
对偶问题满足KKT（Karush-Kuhn-Tucker）条件：
$$\{\begin{array}{l}{\alpha }_i⩾0;\\ y_{i}f\left({\mathbf{x}}_i\right)-1⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}$$
从而可以知道，对于$\alpha >0$的样本点其一定有$y_{i}f\left({\mathbf{x}}_i\right)=1$，从而在最大间隔边界上，因此对应的是支持向量，而对$\alpha =0$，由于$\mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$，其对于$\mathbf{w}$没有贡献，从而最终的超平面仅取决于支持向量。
求解这个对偶问题，本质是二次规划问题，运算开销比较大，因此出现了很多更加高效的算法，最典型的是SMO（Sequential Minimum Optimization），即序列最小最优化算法。其一开始的思想是，对于一个待优化的参数向量，每次只优化其中一个分量值，其他分量值都固定不变，而对于SVM的对偶问题，由于等式约束$0={\sum }_{i=1}^m{\alpha }_i{y}_i$，从而每次至少要同时优化两个分量$\alpha$才可行。选择这两个分量的原则是：外层循环先选择第一个分量，原则是违反KKT条件最严重的，因此也是最需要“修正”的，先遍历支持向量的样本，如果全都不违反则遍历整个样本集；内层在选择第一个分量以后进行选择，希望是更新量比较大的（由于和受到等式约束，因此这两个选定分量的改变量绝对值是相等的），这个周老师书上说是选择的两个对应样本间隔最大，我个人觉得不全是如此，因为看一下更新公式：
$${\alpha }_2^{\text{new ,unc }}={\alpha }_2^{\text{old }}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$
$$\eta ={\Vert \Phi \left(x_1\right)-\Phi \left(x_2\right)\Vert }^2$$
其中$\eta$表示两个样本矢量的差（设计核函数，这里就直接理解为特征空间两个样本矢量差本身）的模，分子的两个E表示两个样本在目前超平面的情况下，预测值与真实值的误差，因此更新在目前模型下位于超平面两侧的样本要比位于同侧的样本产生的更新量更大，这并不严格为书上说的“对应样本的间隔最大”，事实上，算法也没有选择这个更新量严格最大的，而是选择分子绝对值最大的，即$\left|E_1-E_2\right|$，这样本质上并非一定是更新量最大的，而只是选择了当前超平面下，位于超平面两侧距离超平面距离之和最大的第二个样本，当然即便不是最大更新量，可以知道，这种情况的更新量也不会太小，所以也是很有效的。
最后还有个b值，这个对于任何一个支持向量，由于约束，总会有：
$$y_s\left(\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s+b\right)=1$$
因此可以算出b，且用任何一个SV算出来的都是相等的b，当然实际中可能像书上说的（因为实际可能用了软间隔），求SV平均出来的b：
$$b=\frac{1}{|S|}\sum _{s\in S}\left(y_s-\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s\right)$$

核函数（kernel function）

有的样本在原本的特征空间线性不可分，那么可以考虑将其变换到高维空间，从而在高维空间线性可分，如果原来特征空间中样本矢量为$\mathbf{x}$变换后的高维特征空间中矢量为$\varphi (\mathbf{x})$，那么可以将之前特征空间中的SVM转化为新空间中的SVM，模型可表示为：
$$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b$$
最优化问题为：
$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}\varphi \left({\mathbf{x}}_i\right)+b\right)⩾1,i=1,2,\dots ,m\end{array}$$
相应的对偶问题为：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)\\ & \\ \text{ s.t. }& \sum _{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$
即把原来的$\mathbf{x}$替换为新空间的$\varphi (\mathbf{x})$即可，对于新空间中的内积，由于其维数增多，所以计算量增大，因此引入核函数，直接给出原来的特征空间的内积表达式，这样可以降低计算量：
$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$
从而：
$$\begin{array}{ll}{\max }_{\mathbf{\alpha }}& {\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ \text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$
最终的模型为：
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b\end{array}$$
最终的模型相当于用训练样本中的SV做核函数展开，因此这个展式也被称为支持向量展式（support vector expansion）。
实际中，通常不知道具体的原来特征空间样本如何映射到新的特征空间，而是直接取合适的核函数，不需要知道具体的映射形式，而如何判断是否是合法的核函数，从理论上可以证明就是核函数对应的核矩阵（kernel matrix）：
$$\mathbf{K}=\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_m\right)\end{array}\right]$$
对于任何的数据集，都是半正定的，这与是合法的核函数是充要条件，这种核函数都隐式定义了一个再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）。核函数选择合适就能起到很好的效果，反之不然。\

常用核函数

此外，核函数的运算组合很多时候也是合法的核函数：

• 若${\kappa }_1$和${\kappa }_2$为合法核函数，其线性组合也为合法核函数，即：
  $${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$
• 若${\kappa }_1$和${\kappa }_2$为合法核函数，其直积也为合法核函数，即：
  $${\kappa }_1\otimes {\kappa }_2(\mathbf{x},\mathbf{z})={\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$$
• 若${\kappa }_1$为合法核函数，对于任意函数$g(\mathbf{x})$，下面函数也为合法核函数：
  $$\kappa (\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1(\mathbf{x},\mathbf{z})g(\mathbf{z})$$

软间隔与正则化

软间隔

软间隔（soft margin）的引出基于两点原因：首先是无论在原特征空间，还是使用核函数技巧在新的特征空间进行线性超平面划分，都很有可能在实际中比如由于噪音等问题无法现行可分；另外，即使线性可分，也有可能因为训练集本身的特征（非分布的本征特征），使得最终的超平面因为某些异常点，造成过拟合。
软间隔是相对于硬间隔（hard margin）的概念，是指可以允许一部分样本不满足硬间隔时候的约束：
$$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1$$
这时优化问题变为：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)$$
其中0/1损失函数为：
$${\ell }_{0/1}(z)=\{\begin{array}{ll}1,& \text{ if }z<0\\ 0,& \text{ otherwise }\end{array}$$
其中C是一个大于0的常数，用量衡量是否条件足够“软”，当它比较小的时候，就更软，当它趋于无穷时，迫使0/1损失函数内的宗量要尽量和之前的约束条件相同，转化为硬间隔。这里使用0/1损失是为了逻辑简单，实际上有很多可用的损失函数：
$$\begin{array}{l}\text{ hinge 损失: }{\ell }_{\text{hinge }}(z)=\max (0,1-z);\\ \text{ 指数损失(exponential loss): }{\ell }_{\exp }(z)=\exp (-z);\\ \text{ 对率损失(logistic loss): }{\ell }_{\log }(z)=\log (1+\exp (-z))\end{array}$$

指数损失的算法如提升方法（Adaboost），对率损失的就是logistic regression用的，而SVM采用的是合页损失函数（hinge loss）。优化问题写为：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\max \left(0,1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$
引入松弛变量（slack variables）：
$${\xi }_i=\max \left(0,1-y_i\left(w^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$
从而问题可以写为：
$$\underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i$$
$$\begin{array}{ll}\text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i\\ & {\xi }_i⩾0,i=1,2,\dots ,m\end{array}$$
每个样本都有一个松弛变量，表示了样本不满足原来硬间隔约束的程度，二次规划问题可以用拉格朗日乘子法解决，拉格朗日函数为：
$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })=& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ & +\sum _{i=1}^m{\alpha }_i\left(1-{\xi }_i-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)-\sum _{i=1}^m{\mu }_i{\xi }_i\end{array}$$
令其对非拉格朗日乘子的参数求导并置零得到：
$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\\ C& ={\alpha }_i+{\mu }_i\end{array}$$
代入原始问题，消去上面参数得到原始问题的对偶问题：
$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\\ \text{ s.t. }& \sum _{i=1}^m{\alpha }_i{y}_i=0\\ & 0⩽{\alpha }_i⩽C,i=1,2,\dots ,m\end{array}$$
最终与硬间隔时候的唯一差别是$0⩽{\alpha }_i$变为$0⩽{\alpha }_i⩽C$。通过KKT条件可以分析出样本的特点：
$$\{\begin{array}{l}{\alpha }_i⩾0,{\mu }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i\right)=0\\ {\xi }_i⩾0,{\mu }_i{\xi }_i=0\end{array}$$
因此对于任意样本，要么${\alpha }_i=0$要么$y_{i}f\left(x_i\right)=1-{\xi }_i$，当${\alpha }_i>0$，则为支持向量（对最终的weights有贡献），同时它必须满足$y_{i}f\left(x_i\right)=1-{\xi }_i$，因此他们是满足软间隔约束的所有样本，对于这些SV，如果其${\alpha }_i<C$那么由前面求导置零中$C={\alpha }_i+{\mu }_i$（其实也是KKT条件之一），则${\mu }_i>0$，从而${\xi }_i=0$，所以此时这种SV对应原本硬间隔边界的边界上；仍然是SV，如果其${\alpha }_i=C$那么由$C={\alpha }_i+{\mu }_i$必有${\mu }_i=0$，此时样本在哪取决于${\xi }_i$，如果其值为0，那么样本也是落在硬间隔边界上，如果其$0<{\xi }_i<1$，那么落在硬间隔内部，且在超平面正确分类一侧，如果其值为1，那么正好落在超平面上，如果其值大于1，则落在超平面错误分类一侧，且有可能超过错误一侧的硬间隔边界。
关于这个之前看李航老师书的时候也总结过：https://blog.csdn.net/qq_26928055/article/details/120639786
最终，通过hinge loss，软间隔SVM仍然保证了最终只需要少量的SV，保持了稀疏性。

非常惊喜的一段

周老师这段话讲解，感觉非常好，因为我在学习吴恩达老师的CS229时候，做课后大作业（problem set 02）的时候，碰到了这个用logistic损失来作为损失函数的情况，见https://blog.csdn.net/qq_26928055/article/details/123255525 中的01b题目（题目相当于是证明了，对于硬间隔线性可分情况，logistic损失可以进入近乎平坦的阶段，没有weights约束的话会出现不收敛问题，间隔可以无限放大，而对于线性不可分数据，由于总是存在误分类点，可以起到限制效果从而收敛）。那个时候就感觉这个损失又像logistic回归，又像SVM，这里有了很好的解答和理解，非常惊喜。确实，将对率损失代替SVM中的hinge损失之后，就很像logistic回归（特别是现行不可分情况下，一般也更实际）。
书上总结了三点对比感觉很受益，第一个是logistic回归输出相比SVM有自然的概率意义，更好；第二是，logistic回归可以直接用于多分类；第三点最让人觉得醍醐灌顶，因为logistic损失没有一段像hinge loss那样平坦，其梯度总不为0，因此总会对最终的weights更新有贡献，从而依赖大量样本，无法像SVM一样，可以忽略这些非SV，从而其预测时候开销更小。

正则化

软间隔SVM的这种原始最优化问题写成更一般的形式：
$$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^m\ell \left(f\left({\mathbf{x}}_i\right),y_i\right)$$
第一项称为结构风险（structure risk）表示模型本身造成的损失，或者说模型复杂度带来的损失，也叫做正则化项或罚项，通过构造可以让我们产生偏好的模型，比如偏好复杂度大或小的模型（例如，$L_2$范数倾向将weights取值每个分量尽量均衡，非零分量个数尽量稠密；$L_1$范数即绝对值和$L_0$范数即最大值，倾向weights尽量稀疏，非零分量个数尽量少），同时也起到了限制假设空间的作用，降低过拟合风险；第二项叫做经验风险（empirical risk）描述模型与训练数据的契合程度，也是一般训练考虑的主要直接的损失。常数C用来平衡两者的相对重要程度，转换到正则化项前为$1/C$，$1/C$称为正则化常数（感觉书上说的C是不太对？）。

支持向量回归（Support Vector Regression，SVR）

本质是模仿SVM的方法，导出了一种能够在线性回归中，引入一定“软间隔”的方法。从马后炮的角度，可以有这样的理解，SVM在选用了hinge loss的情况下，最终起作用的基本是超平面附近的一条带的向量，也就是SV主要分布在一条带上，如果用与hinge loss“互补or互斥”的一种损失，那是不是就可以使用带外的作为一种SV？从这个SVR的结果看，确实如此。
回想一般的线性回归，比如最小二乘回归，每个样本只要不在最后的回归直线上，都会有一定的损失，SVR就是让一部分距离回归直线较近的样本的损失可认为是0。因此SVR优化问题可以表达为：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_c\left(f\left({\mathbf{x}}_i\right)-y_i\right)$$
其中损失函数使用$ϵ$-不敏感损失（$ϵ$-insensitive loss）函数：
$${\ell }_{ϵ}(z)=\{\begin{array}{ll}0,& \text{ if }|z|⩽ϵ\\ |z|-ϵ,& \text{ otherwise }\end{array}$$
其图像为：

模仿SVM引入松弛变量${\xi }_i$和${\hat{\xi }}_i$，分别作为在正反两个方向相对于约束的偏离的允许程度，则问题变为：
$$\underset{\mathbf{w},b,{\xi }_i,{\hat{\xi }}_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)$$
$$\begin{array}{ll}\text{ s.t. }& f\left({\mathbf{x}}_i\right)-y_i⩽ϵ+{\xi }_i\\ & y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i⩾0,{\hat{\xi }}_i⩾0,i=1,2,\dots ,m\end{array}$$
同SVM处理方式一样，使用二次规划的常规解法——拉格朗日乘数法，得到拉格朗日函数：
$$\begin{array}{l}L(\mathbf{w},b,\mathbf{\alpha },\hat{\mathbf{\alpha }},\mathbf{\xi },\hat{\mathbf{\xi }},\mathbf{\mu },\hat{\mathbf{\mu }})\\ =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C{\sum }_{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)-{\sum }_{i=1}^m{\mu }_i{\xi }_i-{\sum }_{i=1}^m{\hat{\mu }}_i{\hat{\xi }}_i\\ +{\sum }_{i=1}^m{\alpha }_i\left(f\left({\mathbf{x}}_i\right)-y_i-ϵ-{\xi }_i\right)+{\sum }_{i=1}^m{\hat{\alpha }}_i\left(y_i-f\left({\mathbf{x}}_i\right)-ϵ-{\hat{\xi }}_i\right)\end{array}$$
对非拉格朗日乘子参数求偏导置零得：
$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right){\mathbf{x}}_i\\ 0& =\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\\ C& ={\alpha }_i+{\mu }_i\\ C& ={\hat{\alpha }}_i+{\hat{\mu }}_i\end{array}$$
反代入得到：
$$\begin{array}{rl}\underset{\mathbf{\alpha },\hat{\mathbf{\alpha }}}{\max }& \sum _{i=1}^m{y}_i\left({\hat{\alpha }}_i-{\alpha }_i\right)-ϵ\left({\hat{\alpha }}_i+{\alpha }_i\right)\\ & -\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\left({\hat{\alpha }}_j-{\alpha }_j\right){\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\\ \text{ s.t. }& \sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)=0\\ & 0⩽{\alpha }_i,{\hat{\alpha }}_i⩽C\end{array}$$
次即为SVR的对偶问题，相应的KKT条件为：
$$\{\begin{array}{l}{\alpha }_i\left(f\left({\mathbf{x}}_i\right)-y_i-ϵ-{\xi }_i\right)=0\\ {\hat{\alpha }}_i\left(y_i-f\left({\mathbf{x}}_i\right)-ϵ-{\hat{\xi }}_i\right)=0\\ {\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0\\ \left(C-{\alpha }_i\right){\xi }_i=0,\left(C-{\hat{\alpha }}_i\right){\hat{\xi }}_i=0\end{array}$$
从中可以分析出，当$f\left(x_i\right)-y_i-ϵ-{\xi }_i=0$时候${\alpha }_i$才非0，相应地，当$y_i-f\left({\mathbf{x}}_i\right)-ϵ-{\hat{\xi }}_i=0$时，${\hat{\alpha }}_i$才非0，直观地就是样本对应的损失不落在损失函数中间“平坦”的部分，${\alpha }_i$和${\hat{\alpha }}_i$才会有一个非0，落在非平坦右侧则${\alpha }_i$非0，而${\hat{\alpha }}_i$为0，反之亦然，所以对于SV，由于$\mathbf{w}={\sum }_{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right){\mathbf{x}}_i$，则要求SV的$\alpha$要有一个非0值，因此SV只能是上述情况的样本，即不在“平坦”区对应的样本，即带两侧（不包含带）的样本，这其实已经达到了SVR的目的。
对于另一个参数b，可以发现，在SV中对于$0<{\alpha }_i<C$，由KKT条件：
$$\left(C-{\alpha }_i\right){\xi }_i=0$$
$${\alpha }_i\left(f\left({\mathbf{x}}_i\right)-y_i-ϵ-{\xi }_i\right)=0$$
此时必有${\xi }_i=0$，从而由${\alpha }_i\left(f\left({\mathbf{x}}_i\right)-y_i-ϵ-{\xi }_i\right)=0$，必有$f\left({\mathbf{x}}_i\right)-y_i-ϵ=0$，将$f(\mathbf{x})={\sum }_{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right){\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b$代入可得：
$$b=y_i+ϵ-\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right){\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}$$
从而求出。实际中类似SVM，为了更加robust，常常多选几个这样的SV求平均的b值。
由于整个问题与SVM极为相似，因此也可以同样的引入核函数技巧（kernel trick）：
$$\mathbf{w}=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\varphi \left({\mathbf{x}}_i\right)$$
$$f(\mathbf{x})=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b$$

核方法

核方法解释就是把样本从特征空间映射到新的空间，在新空间进行分类，同时可以不显式知道映射的方法，只知道映射后内积的计算结果即可。关于核方法有个重要的一般性的定理，称为表示定理（representer theorem），令$\mathbb{H}$为核函数的再生核希尔伯特空间，则：
$$\underset{h\in \mathbb{H}}{\min }F(h)=\Omega \left(\Vert h{\Vert }_{\mathbb{H}}\right)+\ell \left(h\left({\mathbf{x}}_1\right),h\left({\mathbf{x}}_2\right),\dots ,h\left({\mathbf{x}}_m\right)\right)$$
其中第一项的$\Omega$表示一个大调递增的函数，其宗量表示再生核希尔伯特空间中的范数，第二项为一个非负任意损失函数。该问题的解可以写为：
$$h^{\ast }(\mathbf{x})=\sum _{i=1}^m{\alpha }_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)$$
上述描述中，表示定理对于第一项和第二项函数的形式要求极为宽松，因此这也显示了核方法的巨大威力。
如前面的例子，最常见的“核化”（kernelized）方法是将线性学习器拓展为非线性学习器，这里进一步将线性判别分析（LDA）也进行核化，得到核线性判别分析（Kernelized Linear Discriminant Analysis，KLDA）。希望在新空间中求的的线性模型为：
$$h(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})$$
类似于LDA，其目标是：
$$\underset{\mathbf{w}}{\max }J(\mathbf{w})=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b^{\varphi }\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w^{\varphi }\mathbf{w}}$$
模仿LDA定义平均值，类内/类间散度的方法，定义以下新空间中的量：
$${\mathbf{\mu }}_i^{\varphi }=\frac{1}{m_i}\sum _{\mathbf{x}\in X_i}\varphi (\mathbf{x})$$
$$\begin{array}{rl}{\mathbf{S}}_b^{\varphi }& =\left({\mathbf{\mu }}_1^{\varphi }-{\mathbf{\mu }}_0^{\varphi }\right){\left({\mathbf{\mu }}_1^{\varphi }-{\mathbf{\mu }}_0^{\varphi }\right)}^{\mathrm{T}}\\ {\mathbf{S}}_w^{\varphi }& =\sum _{i=0}^1\sum _{\mathbf{x}\in X_i}\left(\varphi (\mathbf{x})-{\mathbf{\mu }}_i^{\varphi }\right){\left(\varphi (\mathbf{x})-{\mathbf{\mu }}_i^{\varphi }\right)}^{\mathrm{T}}\end{array}$$
从表示定理一般形式出发，令$\Omega$为0，第二项损失函数为$J(\mathbf{w})$，那么假设函数可以表示为：
$$h(\mathbf{x})=\sum _{i=1}^m{\alpha }_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)$$
再由新空间中的线性方程的表达式$h(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})$，从而：
$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i\varphi \left({\mathbf{x}}_i\right)$$
定义：
$$\begin{array}{rl}{\hat{\mathbf{\mu }}}_0& =\frac{1}{m_0}\mathbf{K}{1}_0\\ {\hat{\mathbf{\mu }}}_1& =\frac{1}{m_1}\mathbf{K}{1}_1\\ \mathbf{M}& =\left({\hat{\mathbf{\mu }}}_0-{\hat{\mathbf{\mu }}}_1\right){\left({\hat{\mathbf{\mu }}}_0-{\hat{\mathbf{\mu }}}_1\right)}^{\mathrm{T}}\\ \mathbf{N}& ={\mathbf{KK}}^{\mathrm{T}}-\sum _{i=0}^1{m}_i{\hat{\mathbf{\mu }}}_i{\hat{\mathbf{\mu }}}_i^{\mathrm{T}}\end{array}$$
其中，$1_i\in \{0,1{\}}^{m\times 1}$，是类别指示向量，对应的类别i的样本为1，其余为0，$\mathbf{K}$为核矩阵。从而将之前的表达式带入整理可得等价地简洁的目标函数表达式：
$$\underset{\mathbf{\alpha }}{\max }J(\mathbf{\alpha })=\frac{{\mathbf{\alpha }}^{\mathrm{T}}\mathbf{M}\mathbf{\alpha }}{{\mathbf{\alpha }}^{\mathrm{T}}\mathbf{N}\mathbf{\alpha }}$$
求解方法同LDA中，利用广义特征向量解出（涉及SVD）。