机器学习技法笔记

1 – Linear Support Vector Machine

Large-Margin Separating Hyperplane

下图三条直线都是由PLA/pocket算法得到，都满足分类要求，但第三条直线对数据误差容忍度明显更高，边界够宽，所以第三条直线最robust

所以要得到一条最 robust 的直线，要满足两个条件：

优化目标就变成了：

Standard Large-Margin Problem
$w_0$ 用 $b$ 表示，点到分类平面的距离可表示为：

对目标形式做转换：

对 $w$ 和 $b$ 同时进行缩放，得到的还是同一分类面，那么可以令距离分类面最近的点满足
$$\begin{array}{rl}& \underset{n=1,\cdots ,N}{\min }{y}_n(w^T{x}_n+b)=1\\ & ⟹margin(b,w)=\frac{1}{||w||}\end{array}$$

于是目标就简化成：

将最大化问题转化为最小化问题：

Support Vector Machine

分类面仅仅由分类面的两边距离它最近的几个点决定的，其它点对分类面没有影响。决定分类面的几个点称之为支持向量（Support Vector），利用Support Vector得到最佳分类面的方法，称之为支持向量机（Support Vector Machine）

SVM求解的条件和目标：

SVM求解是典型的二次规划问题 Quadratic Programming（QP）

线性SVM算法可总结为三步：

1. 计算对应的二次规划参数 $Q，p，A，c$
2. 根据二次规划库函数，计算 $b，w$
3. 将 $b$ 和 $w$ 代入 $g_{SVM}$，得到最佳分类面

Linear Hard-Margin SVM Algorithm

如果是非线性的，可先进行特征变换，从非线性的 $x$ 域映射到线性的 $z$ 域空间，再用 Linear Hard-Margin SVM Algorithm求解

Reasons behind Large-Margin Hyperplane

SVM和正则化

Large-Margin会限制Dichotomies的个数，相当于把分类面变得更厚，能shatter的点就可能更少，VC Dimension也减少了。VC Dimension减少降低了模型复杂度，提高了泛化能力

---

---

2 – Dual Support Vector Machine

Motivation of Dual SVM

如果模型越复杂，求解QP问题在 z 域中的维度 $\hat{d}+1$ 越大，当 $\hat{d}+1$ 无限大的时候，问题将会变得难以求解。于是需要一种方法就是使SVM的求解过程不依赖 $\hat{d}$：

把问题转化为对偶问题（’Equivalent’ SVM），变量个数变成N个，有 N+1 个限制条件。对偶SVM的好处就是问题只跟 N 有关，与 $\hat{d}$ 无关
\qquad\qquad\qquad\qquad\qquad \qquad
如何将条件问题转换为非条件问题？
令拉格朗日因子为$a_n$（区别于regularization），构造一个拉格朗日函数
$$L_{(b,w,a)}=\frac{1}{2}{w}^{T}w+\sum _{n=1}^N{a}_n(1-y_n(w^T{z}_n+b))$$

利用拉格朗日函数，把SVM构造成一个非条件问题：

• 如果没有达到最优解，即有不满足$(1-y_n(w^T{z}_n+b))\le 0$的情况，因为$a_n>0$，那么必然有
  ${\sum }_n{a}_n(1-y_n(w^T{z}_n+b))\ge 0$，其最大值是无解的。
• 如果所有点满足$(1-y_n(w^T{z}_n+b))\le 0$的情况，那么必然有${\sum }_n{a}_n(1-y_n(w^T{z}_n+b))\le 0$，有最大值。因此，这种转化为非条件的SVM构造函数的形式是可行。

Lagrange Dual SVM

对上述不等式右边取最大值，不等式同样成立：

上述不等式关系称为 Lagrange dual problem，等式右边是SVM问题的下界

已知$\ge$是一种弱对偶关系，在二次规划QP问题中，如果：

1. 函数是凸的（convex primal）
2. 函数有解（feasible primal）
3. 条件是线性的（linear constraints）

那么，上述不等式关系就变成强对偶关系$\ge$变成 = ，即一定存在满足条件的解$(b,w,a)$，使等式左边和右边都成立，SVM的解就转化为右边的无条件形式

括号里面的是对拉格朗日函数$L(b,w,\alpha )$计算最小值，而最小值位置满足梯度为零
对参数 b 求偏导：$$\frac{\partial L(b,w,\alpha )}{\partial b}=0=-\sum _{n=1}^N{\alpha }_n{y}_n$$

把得到的条件 ${\sum }_{n=1}^N{\alpha }_n{y}_n=0$ 带入max条件，消去了参数b：

参数$w$求偏导：$$\frac{\partial L(b,w,\alpha )}{\partial w}=0=w-\sum _{n=1}^N{a}_n{y}_n{z}_n$$
把$w={\sum }_{n=1}^N{\alpha }_n{y}_n{z}_n$这个条件代入并进行化简:

得到三个条件：

1. ${\alpha }_n\ge 0$
2. ${\sum }_{n=1}^N{\alpha }_n{y}_n=0$
3. $w={\sum }_{n=1}^N{\alpha }_n{y}_n{z}_n$

于是SVM最佳化形式转化为只与 ${\alpha }_n$ 有关：


Solving Dual SVM
前面已经得到了dual SVM的简化版，将 max 问题转化为 min 问题：

这显然是一个 convex 的QP问题，且有 N 个变量 ${\alpha }_n$，限制条件有N+1个：

注意：$q_{n,m}=y_n{y}_m{z}_n^T{z}_m$,大部分值是非零的，称为dense。当 N 很大的时候，例如N=30000，那么对应的$Q_D$的计算量将会很大，存储空间也很大，一般需要使用一些特殊的方法。

得到${\alpha }_n$后，再根据 KKT 条件计算出 $w$ 和 $b$

计算 $b$ 值，${\alpha }_n>0$时，有$y_n(w^T{z}_n+b)=1$成立。$y_n(w^T{z}_n+b)=1$正好表示的是该点在SVM分类线上，即fat boundary。满足${\alpha }_n>0$的点一定落在fat boundary上，这些点就是Support Vector。

Messages behind Dual SVM

分类线上的点不一定都是支持向量，但是满足 ${\alpha }_n>0$ 的点，一定是支持向量


SVM 和 PLA的 $w$ 公式：
\qquad\qquad\qquad\qquad \qquad
二者在形式上是相似的。$w_{SVM}$由fattest hyperplane边界上所有的SV决定，$w_{PLA}$由所有当前分类错误的点决定 .$w_{SVM}$ 和 $w_{PLA}$ 都是原始数据点 $y_n{z}_n$ 的线性组合形式.

总结：

• Primal Hard-Margin SVM 有 $\hat{d}+1$个参数，有N个限制条件。当 $\hat{d}+1$ 很大时，求解困难.
• 而 Dual Hard_Margin SVM 有 $N$ 个参数，$N+1$ 个限制条件。当数据量 $N$ 很大时，也同样会增大计算难度。两种形式都能得到 $w$ 和 $b$，求得 fattest hyperplane。通常情况下，如果 $N$ 不是很大，一般使用 Dual SVM。

Dual SVM是否真的消除了对$\hat{d}$的依赖呢？

• 其实并没有，因为在计算 $q_{n,m}=y_n{y}_m{z}_n^T{z}_m$ 的过程中，由 z 向量引入了$\hat{d}$，实际上复杂度已经隐藏在计算过程中！

---

---

3 – Kernel Support Vector Machine

dual SVM中：$z_n^T{z}_m=\Phi (x_n)\Phi (x_m)$，$z$ 是经过

1. ’特征转换为$\Phi (x_n)$和$\Phi (x_m)$
2. 然后计算$\Phi (x_n)$和$\Phi (x_m)$的内积

先转换再计算内积的方式，必然会引入 $\hat{d}$ 参数，$\hat{d}$ 很大时影响计算速度

如果把这两个步骤联合起来，是否可以有效地减小计算量？

二阶多项式转换例子：$${\Phi }_2(\mathbf{x})=\left(1,x_1,x_2,\dots ,x_d,x_1^2,x_1{x}_2,\dots ,x_1{x}_d,x_2{x}_1,x_2^2,\dots ,x_2{x}_d,\dots ,x_d^2\right)$$

把$x_0=1$、$x_1{x}_2$和$x_2{x}_1$包含进来，’转换之后再做内积并进行推导：
$$\begin{array}{rl}{\Phi }_2(x{)}^T{\Phi }_2\left(x^{\prime }\right)& =1+\sum _{i=1}^d{x}_i{x}_i^{\prime }+\sum _{i=1}^d\sum _{j=1}^d{x}_i{x}_j{x}_i^{\prime }{x}_j^{\prime }\\ & =1+\sum _{i=1}^d{x}_i{x}_i^{\prime }+\sum _{i=1}^d{x}_i{x}_i^{\prime }\sum _{j=1}^d{x}_j{x}_j^{\prime }\\ & =1+x^T{x}^{\prime }+\left(x^T{x}^{\prime }\right)\left(x^T{x}^{\prime }\right)\end{array}$$

${\Phi }_2(x)$和${\Phi }_2(x^{\prime })$内积的复杂度由原来的$O(d^2)$变成$O(d)$，只与$x$空间的维度$d$有关，而与z空间的维度$\hat{d}$无关
合并特征转换和计算内积这两个步骤的操作叫做Kernel Function

kernel trick

1、在dual SVM中，二次项系数$q_{n,m}$中有z的内积计算，就可以用kernel function替换：$$q_{n,m}=y_n{y}_m{z}_n^T{z}_m=y_n{y}_{m}K(x_n,x_m)$$

直接计算出$K(x_n,x_m)$，再代入上式，就能得到$q_{n,m}$的值

2、通过QP得到拉格朗日因子${\alpha }_n$。下一步就是计算b（取${\alpha }_n>0$的点，即SV），b的表达式中包含z：$$b=y_s-w^T{z}_s=y_s-(\sum _{n=1}^N{\alpha }_n{y}_n{z}_n{)}^T{z}_s=y_s-\sum _{n=1}^N{\alpha }_n{y}_n(K(x_n,x_s))$$

这样b也可以用kernel function表示，与z空间无关

3、最终得到：$$g_{SVM}(x)=sign(w^T\Phi (x)+b)=sign((\sum _{n=1}^N{\alpha }_n{y}_n{z}_n{)}^{T}z+b)=sign(\sum _{n=1}^N{\alpha }_n{y}_n(K(x_n,x))+b)$$

引入kernel funtion后：

每个步骤的时间复杂度为：

引入kernel function的SVM称为kernel SVM，是基于dual SVM推导而来的

Polynomial Kernel

二次多项式的kernel形式是多种的：

系数不同，内积就会有差异，代表有不同的距离，最终可能会得到不同的SVM margin。第三种${\Phi }_2(x)$（绿色标记）简单一些，更加常用

自由度$\gamma$影响margin和SV：

通过改变不同的系数，得到不同的SVM margin和SV，选择正确的kernel非常重要

总之：引入$\zeta \ge 0$和$\gamma >0$，对于Q次多项式一般的kernel形式可表示为：

使用高阶多项式kernel的两个优点：
1、得到最大SVM margin，SV数量不会太多，分类面不会太复杂，防止过拟合，减少复杂度
2、计算过程避免了对$\hat{d}$的依赖，大大简化了计算量

多项式阶数Q=1时，那么对应的kernel就是线性的

Gaussian Kernel

Q阶多项式kernel的阶数是有限的，即特征转换的$\hat{d}$有限。如果是无限维转换 $\Phi (x)$，是否还能通过kernel简化SVM计算呢？

假设原空间是一维的，只有一个特征 $x$，构造一个kernel function为高斯函数：$$K(x,x^{\prime })=e^{-(x-x^{\prime }{)}^2}$$
构造的过程正好与二次多项式kernel的相反，利用反推法，先将上式分解并做泰勒展开：

其中：
$$\Phi (x)=e^{-x^2}\cdot (1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}{x}^2,\cdots )$$

$\Phi (x)$是无限多维的，可以作特征转换的函数，且$\hat{d}$是无限的.

$\Phi (x)$得到的核函数即为Gaussian kernel

推广到多维，引入缩放因子$\gamma >0$，应的Gaussian kernel表达式为：
$$K(x,x^{\prime })=e^{-\gamma ||x-x^{\prime }|{|}^2}$$

前面由 K 计算得到 ${\alpha }_n$ 和 b，进而得到矩 $g_{SVM}$。将核函数 K 用高斯核函数代替：
$$g_{SVM}(x)=sign(\sum _{SV}{\alpha }_n{y}_{n}K(x_n,x)+b)=sign(\sum _{SV}{\alpha }_n{y}_n{e}^{(-\gamma ||x-x_n|{|}^2)}+b)$$

上式可以看出，$\Phi (x)$$g_{SVM}$有n个高斯函数线性组合而成，其中n是SV的个数，通常也把高斯核函数称为径向基函数（Radial Basis Function, RBF）

总结：

kernel SVM 可以获得 large-margin 的 hyperplanes，并且可以通过高阶的特征转换使 $E_{in}$ 尽可能小。kernel的引入大大简化了dual SVM的计算量。而且Gaussian kernel能将特征转换扩展到无限维，并使用有限个SV数量的高斯函数构造出矩$\Phi (x)$。

缩放因子$\gamma$取值不同，会得到不同的高斯核函数，hyperplanes不同，分类效果也有很大的差异：、

所以，SVM也会出现过拟合现象，$\gamma$的正确选择尤为重要，不能太大。

Comparison of Kernels

Linear Kernel：
最简单最基本的核，平面上对应一条直线，三维空间里对应一个平面。Linear Kernel可以使用Dual SVM中的QP直接计算得到

优点：

1. 计算简单、快速
2. 可以直接使用QP快速得到参数值
3. 从视觉上分类效果非常直观，便于理解

缺点：

1. 如果数据不是线性可分的情况，Linear Kernel就不能使用了

Polynomial Kernel

hyperplanes是由多项式曲线构成

优点：

1. 阶数Q可以灵活设置
2. 相比linear kernel限制更少
3. 更贴近实际样本分布

缺点：

1. Q很大时，K的数值范围波动很大
2. 参数个数较多，难以选择合适的值
   
   

Gaussian Kernel

优点：

1. 边界更加复杂多样，能最准确地区分数据样本
2. 数值计算K值波动较小
3. 只有一个参数，容易选择

缺点：

1. 由于特征转换到无限维度中，w没有求解出来
2. 计算速度要低于linear kernel，而且可能会发生过拟合

有效的kernel还需满足几个条件（Mercer 定理）：

1. K是对称的
2. K是半正定的
   

---

---

4 – Soft-Margin Support Vector Machine

Kernel SVM不仅能解决简单的线性分类问题，也可以求解非常复杂甚至是无限多维的分类问题，关键在于核函数选择。但前面的这些方法都是Hard-Margin SVM，即必须将所有的样本都分类正确才行。这往往需要更多更复杂的特征转换，甚至造成过拟合。

Motivation and Primal Problem

SVM同样可能会造成overfit:

• SVM模型（即kernel）过于复杂，转换的维度太多
• 要将所有的样本都分类正确，即不允许错误存在，造成模型过于复杂

如何避免过拟合？

• 可以用类似pocket算法的思想，允许有错误点存在，但是尽量让错误点个数变少
  

SVM允许犯错误的点：

• 对于分类正确的点，仍需满足$y_n(w^T{z}_n+b)\ge 1$
• 对于noise点，满足$y_n(w^T{z}_n+b)\ge -\infty$，即没有限制
• 修正后的目标除了$\frac{1}{2}{w}^{T}w$项，还添加了$y_n\ne sign(w^T{z}_n+b)$，即noise点的个数。参数C的引入是为了权衡目标第一项（large margin）和第二项（noise tolerance）的关系，C小表示可以容忍更多的错误点个数，倾向于得到更宽的边界。

对上述条件修正合并得到：

上述式子存在两个不足：

1. 最小化目标中第二项是非线性的，不满足QP的条件，所以无法使用dual或者kernel SVM来计算
2. 对于犯错误的点，有的离边界很近，即error小，而有的离边界很远，error很大，上式条件和目标没有区分small error和large error

继续修正：引入新参数 ${\xi }_n$ 表示每个点犯错误程度 (${\xi }_n\ge 0$)，越大表示错得越离谱，即点距离边界（负的）越大。通过使用 error 值的大小代替是否有error，让问题变得易于求解，满足QP形式要求

最终的Soft-Margin SVM的目标为：
$$min(b,w,\xi )\frac{1}{2}{w}^{T}w+C\cdot \sum _{n=1}^N{\xi }_n$$

条件是：
$$y_n(w^T{z}_n+b)\ge 1-{\xi }_n$$

$${\xi }_n\ge 0$$

对应的QP问题中，由于新的参数 ${\xi }_n$ 的引入，总共参数个数为 $\hat{d}+1+N$，限制条件添加了 ${\xi }_n>0$，则总条件个数为 2N

Dual Problem

由于引入了${\xi }_n$，原始问题有两类条件，所以包含了两个拉格朗日因子${\alpha }_n$和${\beta }_n$：

将Soft-Margin SVM问题转换为如下形式：

对上式括号里的拉格朗日函数 $L(b,w,\xi ,\alpha ,\beta )$ 计算最小值。根据梯度下降算法思想：最小值位置满足梯度为零。

令${\xi }_n$偏微分等于0：
$$\frac{\partial L}{\partial {\xi }_n}=0=C-{\alpha }_n-{\beta }_n$$

得到 ${\beta }_n=C-{\alpha }_n$，因为有 $\beta n\ge 0$，所以限制 $0\le {\alpha }_n\le C$。将 ${\beta }_n=C-{\alpha }_n$ 带入上式，${\beta }_n$和${\xi }_n$都被消去了：

令 $b$ 和 $w$ 偏导数为零，分别得到：
$$\begin{array}{r}\sum _{n=1}^N{\alpha }_n{y}_n=0\\ w=\sum _{n=1}^N{\alpha }_n{y}_n{z}_n\end{array}$$

最终标准的Soft-Margin SVM的Dual形式：
$$\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}{\sum }_{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ \text{ subject to }& \sum _{n=1}^N{y}_n{\alpha }_n=0\\ & 0\le {\alpha }_n\le C,\text{ for }n=1,2,\dots ,N\\ \text{ implicitly }& \mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\\ & {\beta }_n=C-{\alpha }_n,\text{ for }n=1,2,\dots ,N\end{array}$$

Hard-Margin SVM Dual中 ${\alpha }_n\ge 0$，而Soft-Margin SVM Dual中 $0\le {\alpha }_n\le C$，且新的拉格朗日因子 ${\beta }_n=C-{\alpha }_n$

在QP问题中，Soft-Margin SVM Dual的参数 ${\alpha }_n$同样是 $N$ 个，但是条件由Hard-Margin SVM Dual中的 $N+1$ 个变成 $2N+1$ 个，因为多了 $N$ 个 ${\alpha }_n$ 的上界条件。

Messages behind Soft-Margin SVM

如何根据${\alpha }_n$的值计算$b$呢？

• 在Hard-Margin SVM Dual中，有complementary slackness条件：${\alpha }_n(1-y_n(w^T{z}_n+b))=0$
• 找到SV，即${\alpha }_s>0$的点，计算得到：$b=y_s-w^T{z}_s$

在Soft-Margin SVM Dual中，相应的 complementary slackness 条件有两个（因为两个拉格朗日因子${\alpha }_n$和${\beta }_n$）：
$$\begin{array}{rl}& {\alpha }_n(1-{\xi }_n-y_n(w^T{z}_n+b))=0\\ & {\beta }_n{\xi }_n=(C-{\alpha }_n){\xi }_n=0\end{array}$$

找到SV，即${\alpha }_s>0$的点,由于${\xi }_n$的存在，还不能完全计算出 $b$ 的值。

根据第二个complementary slackness条件，如果令 $C-{\alpha }_n\ne 0$，即 ${\alpha }_n\ne C$，则一定有 ${\xi }_n=0$，代入到第一个 complementary slackness 条件，即可计算得到 $b=y_s-w^T{z}_s$， $0<{\alpha }_s<C$ 的点称为 free SV。引入核函数后，b 的表达式为：
$$b=y_s-\sum _{SV}{\alpha }_n{y}_{n}K(x_n,x_s)$$

上面求解 b 提到的一个假设是${\alpha }_s<C$，如果没有free SV，所有${\alpha }_s$大于零的点都满足${\alpha }_s=C$怎么办？

• 一般情况下，至少存在一组SV使${\alpha }_s<C$的概率是很大的。如果出现没有free SV的情况，那么 b 通常会由许多不等式条件限制取值范围，值是不确定的，只要能找到其中满足KKT条件的任意一个 b 值就可以了。
  

C 取不同的值对margin的影响：

${\alpha }_n$取不同值对应的物理意义

已知$0\le {\alpha }_n\le C$满足两个complementary slackness条件：
$$\begin{array}{rl}& {\alpha }_n(1-{\xi }_n-y_n(w^T{z}_n+b))=0\\ & {\beta }_n{\xi }_n=(C-{\alpha }_n)\xi =0\end{array}$$

• 若 ${\alpha }_n=0$，得 ${\xi }_n=0$，${\xi }_n=0$表示该点没有犯错，${\alpha }_n=0$表示该点不是SV。所以对应的点在margin之外（或者在margin上），且均分类正确。
• 若 $0<{\alpha }_n<C$，得${\xi }_n=0$，且$y_n(w^T{z}_n+b)=1$。${\xi }_n=0$表示该点没有犯错，$y_n(w^T{z}_n+b)=1$表示该点在margin上。这些点即 free SV，确定了 $b$ 的值。
• 若${\alpha }_n=C$，不能确定 ${\xi }_n=0$ 是否为零，且得到 $1-y_n(w^T{z}_n+b)={\xi }_n$，这个式表示该点偏离margin的程度，${\xi }_n$越大，偏离margin的程度越大。只有当${\xi }_n=0$时，该点落在margin上。所以这种情况对应的点在margin之内负方向（或者在margin上），有分类正确也有分类错误的。这些点称为bounded SV。

所以，在Soft-Margin SVM Dual中，根据${\alpha }_n$的取值，就可以推断数据点在空间的分布情况。

Model Selection

在Soft-Margin SVM Dual中，kernel的选择、C等参数的选择都非常重要，直接影响分类效果。例如，对于Gaussian SVM，不同的参数$(C,\gamma )$，会得到不同的margin：
\qquad \qquad
横坐标是C逐渐增大的情况，纵坐标是$\gamma$逐渐增大的情况，不同的$(C,\gamma )$组合，margin的差别很大。

如何选择最好的$(C,\gamma )$等参数呢？

• V-Fold cross validation：将由不同$(C,\gamma )$等参数得到的模型在验证集上进行cross validation，选取$E_{cv}$最小的对应的模型就可以了，如上图左下角。

V-Fold cross validation的一种极限就是Leave-One-Out CV，也就是验证集只有一个样本。对于SVM问题，它的验证集Error满足：
$$E_{loocv}\le \frac{SV}{N}$$

即，留一法验证集Error大小不超过支持向量SV占所有样本的比例（因为：1、留下的一个验证集非SV，分类必定正确；2、验证集为SV，可能对也可能错）。

一般来说，SV越多，表示模型可能越复杂，越有可能会造成过拟合。所以，通常选择SV数量较少的模型，然后在剩下的模型中使用cross-validation，比较选择最佳模型。

---

---

5 – Kernel Logistic Regression

Soft-Margin SVM as Regularized Model

Soft-Margin Dual SVM有两个应用非常广泛的工具包，分别是Libsvm和Liblinear：
Welcome to Chih-Jen Lin’s Home Page

Soft-Margin SVM用${\xi }_n$来表示margin violation（犯错时：${\xi }_n=1-y_n(w^T{z}_n+b)>0$），即犯错值的大小(也可以理解为点到$y_n(w^T{z}_n+b)=1$边界有多远)，没有犯错对应的${\xi }_n=0$。然后将有条件问题转化为对偶dual形式，使用QP来得到最佳化的解。将犯错和没犯错的情况整合到一个表达式：
$${\xi }_n=max(1-y_n(w^T{z}_n+b),0)$$

Soft-Margin SVM最小化问题可变成如下形式：
$$\frac{1}{2}{w}^{T}w+C\sum _{n=1}^{N}max(1-y_n(w^T{z}_n+b),0)$$

unconstrained form SVM与L2 Regularization的形式类似，但却不能直接用L2 Regularization的方法来解决unconstrained form SVM的问题。因为：
1、这种无条件的最优化问题无法通过QP解决（对偶推导和kernel都无法使用）；
2、包含max()项造成函数不能处处可导，这种情况难以用微分方法解决。


接下来将尝试是否能把SVM作为一个regularized的模型进行扩展，来解决其它一些问题

SVM versus Logistic Regression

logistic regression中的error function：$er{r}_{sce}=lo{g}_2(1+exp(-ys))$

• ${\widehat{err}}_{svm}$在$er{r}_{0/1}$的上面，所以${\widehat{err}}_{svm}$可以代替$er{r}_{0/1}$解决二元线性分类问题
• $er{r}_{sce}$也在$er{r}_{0/1}$的上面，而且$er{r}_{sce}$和${\widehat{err}}_{svm}$相近，所以可以把SVM看成是L2-regularized logistic regression

Logistic Regression对应的 $er{r}_{sce}$优点：

• 是凸函数便于最优化求解
• 有regularization，可以避免过拟合

缺点：

• $y_s$很小（负值）时，上界变得更宽松，不利于最优化求解

Soft-Margin SVM对应的 ${\widehat{err}}_{svm}$ 和 Logistic Regression 类似，而且分类线比较“粗壮”一些。

SVM for Soft Binary Classification

如何将SVM的结果应用在Soft Binary Classification中，得到是正类的概率值?

• 方法一：先得到SVM的解$(b_{svm},w_{svm})$，然后直接代入到logistic regression中，得到$g(x)=\theta (w_{svm}^{T}x+b_{svm})$。直接使用了SVM和logistic regression的相似性，但没有用到logistic regression好的性质和方法。
• 方法二：先得到SVM的解$(b_{svm},w_{svm})$，把$(b_{svm},w_{svm})$作为logistic regression的初始值，进行迭代训练修正（速度比较快），把修正后的$(b,w)$带入到$g(x)=\theta (w^{T}x+b)$中，但并没有体现出比直接用logistic regression有优势

总之，两种方法都没有融合SVM和logistic regression各自的优势

• 方法三：用$(b_{svm},w_{svm})$、放缩因子A和平移因子B构造一个可以融合SVM和logistic regression优势的模型：
  $$g(x)=\theta (A\cdot (w_{svm}^T\Phi (x)+b_{svm})+B)$$如果$(b_{svm},w_{svm})$较为合理，一般满足A>0且$B\approx 0$。
  

新构造的 logistic regression 表达式为：

总体做法可分为三步：

Kernel Logistic Regression

logistic regression怎么用kernel转化为QP问题来解决？

• 如果 $w$ 可以表示为 $z$ 的线性组合，即$w_{\ast }={\sum }_{n=1}^N{\beta }_n{z}_n$的形式，那么$w_{\ast }^{T}z={\sum }_{n=1}^N{\beta }_n{z}_n^{T}z={\sum }_{n=1}^N{\beta }_{n}K(x_n,x)$，其中包含了z的内积。即：w 可以表示为 z 的线性组合是 kernel trick 可行的关键。

前面的SVM、PLA包扩logistic regression都可以表示成 z 的线性组合：

对于L2-regularized linear model，如果它的最小化问题形式为如下的话，那么最优解$w_{\ast }={\sum }_{n=1}^N{\beta }_n{z}_n$

证明：
假设最优解$w_{\ast }=w_{||}+w_{\perp }$

所以，任何L2-regularized linear model都可以使用kernel来解决

求解：
将$w_{\ast }={\sum }_{n=1}^N{\beta }_n{z}_n$代入到L2-regularized logistic regression最小化问题中：

上式中，所有的$w$项都换成${\beta }_n$来表示，变成了没有条件限制的最优化问题（把这种问题称为kernel logistic regression），即引入kernel，将求$w$的问题转换为求${\beta }_n$的问题

上式 log 项里的${\sum }_{m=1}^N{\beta }_{m}K(x_m,x_n)$可以看成是变量 $\beta$ 和 $K(x_m,x_n)$ 的内积。${\sum }_{n=1}^N{\sum }_{m=1}^N{\beta }_n{\beta }_{m}K(x_n,x_m)$ 可以看成是关于$\beta$的正则化项${\beta }^{T}K\beta$。所以，KLR是$\beta$的线性组合，其中包含了kernel内积项和kernel regularizer，与SVM是相似的。

但是，KLR中的${\beta }_n$与SVM中的${\alpha }_n$是有区别的。SVM中的${\alpha }_n$大部分为零，SV的个数通常是比较少的；而KLR中的${\beta }_n$通常都是非零值。

---

---

6 – Support Vector Regression

soft-binary classification 使用 2-level learning，先利用SVM得到参数 b 和 w ，再用 logistic regression 迭代优化，对参数 b 和 w 进行微调，得到最佳解。

前面提到可以通过Representer Theorem，在 z 空间中引入SVM的kernel技巧，直接对logistic regression进行求解。

如何将SVM的kernel技巧应用到 regression 问题上？

Kernel Ridge Regression

如何将kernel技巧引入到岭回归（ridge regression）中去，得到与之对应的analytic solution？

Kernel Ridge Regression问题：

因为最佳解$w_{\ast }$必然是$z$的线性组合

把$w_{\ast }={\sum }_{n=1}^N{\beta }_n{z}_n$代入到ridge regression中，将z的内积用kernel替换，把求$w_{\ast }$的问题转化成求${\beta }_n$的问题：

ridge regression可以写成矩阵的形式，其中第一项可以看成是${\beta }_n$的正则项，而第二项可以看成是${\beta }_n$的error function。

变成求解${\beta }_n$：
$$\begin{array}{rl}{E}_{\mathrm{a}\mathrm{u}\mathrm{g}}(\beta )& =\frac{\lambda }{N}{\beta }^T\mathrm{K}\beta +\frac{1}{N}\left({\beta }^T{\mathrm{K}}^T\mathrm{K}\beta -2{\beta }^T{\mathrm{K}}^T\mathbf{y}+{\mathbf{y}}^T\mathbf{y}\right)\\ \nabla E_{\mathrm{a}\mathrm{u}\mathrm{g}}(\beta )& =\frac{2}{N}\left(\lambda {\mathrm{K}}^T\mathrm{I}\beta +{\mathrm{K}}^T\mathrm{K}\beta -{\mathrm{K}}^T\mathbf{y}\right)=\frac{2}{N}{\mathrm{K}}^T((\lambda \mathrm{I}+\mathrm{K})\beta -\mathbf{y})\end{array}$$

令$\nabla E_{aug}(\beta )$等于零，$(\lambda I+K)$的逆矩阵存在，则可得到$\beta$一种解析解为：
$$\beta =(\lambda I+K{)}^{-1}y$$

$K$满足Mercer’s condition，它是半正定的，而且$\lambda >0$，所以$(\lambda I+K)$一定是可逆的，$(\lambda I+K)$大小是$N\ast N$，时间复杂度是$O(N^3)$由于核函数$K$表征的是$z$空间的内积，除非两个向量互相垂直，否则一般情况下$K$不等于零。$(\lambda I+K)$是dense matrix，$\beta$ 的解大部分都是非零值。

• 左边是linear ridge regression：只能拟合直线，它的训练复杂度是$O(d^3+d^{2}N)$，预测的复杂度是$O(d)$，如果$N$比$d$大很多时，这种模型就更有效率。
• 右边是kernel ridge regression：非线性模型更加灵活，训练复杂度是$O(N^3)$，预测的复杂度是$O(N)$，均只与$N$有关。当$N$很大的时候，计算量也大。
  

Support Vector Regression Primal

kernel ridge regression应用在classification就叫做least-squares SVM（LSSVM）

对比soft-margin Gaussian SVM和Gaussian LSSVM：

两者分类线几乎相同，但是如果看Support Vector的话（图中方框标注的点）

• 左边SV不多，因为soft-margin Gaussian SVM中的${\alpha }_n$大部分是等于零，${\alpha }_n>0$的点只占少数，所以SV少。
• 而右边基本上每个点都是SV，因为$\beta$的解大部分都是非零值，所以对应的每个点基本上都是SV

SV太多会带来一个问题，就是做预测的矩$g(x)={\sum }_{n=1}^N{\beta }_{n}K(x_n,x)$，如果$\beta$非零值较多，那么$g$的计算量也比较大，soft-margin Gaussian SVM更有优势。

能不能使用一些方法来的得到sparse$\beta$?

• 引入Tube Regression：在分类线上下分别划定一个区域（中立区），如果数据点分布在这个区域内，则不算分类错误，只有误分在中立区域之外的地方才算error
  

将L2-regularized tube regression做类似于soft-margin SVM的推导，从而得到sparse$\beta$
tube regression中的error与squared error：

$err(y,s)$与$s$的关系曲线：

而在$|s-y|$比较大的区域，squared error的增长幅度要比tube error大很多。error的增长幅度越大，表示越容易受到noise的影响，不利于最优化问题的求解。从这个方面来看，tube regression的这种error function要更好一些。

L2-Regularized Tube Regression：
$$\underset{\mathbf{w}}{\min }\frac{\lambda }{N}{\mathbf{w}}^T\mathbf{w}+\frac{1}{N}\sum _{n=1}^N\max \left(0,\left|{\mathbf{w}}^T{\mathbf{z}}_n-y\right|-ϵ\right)$$

上式含max项，不是处处可微，不适合用GD/SGD来求解。虽然满足representer theorem，有可能通过引入kernel来求解，但并不能保证得到sparsity$\beta$。可以把这个问题转换为带条件的QP问题，仿照dual SVM的推导方法，引入kernel，得到KKT条件，从而保证解$\beta$是sparse的。

把L2-Regularized Tube Regression写成类似SVM的形式：

$\lambda$越大对应$C$越小，$\lambda$越小对应$C$越大。而且上式把$w_0$即$b$单独拿了出来。

有了Standard Support Vector Regression的初始形式，还需要转化成标准的QP问题：

右边即标准的QP问题，${\xi }_n^{\vee }$和${\xi }_n^{\wedge }$分别表示upper tube violations和lower tube violations。这种形式叫做Support Vector Regression（SVR） primal。

SVR的QP形式共有$\hat{d}+1+2N$个参数，$2N+2N$个条件。

• C：表示的是regularization和tube violation之间的权衡。large C倾向于tube violation，small C则倾向于regularization。
• $ϵ$：表征了tube的区域宽度，即对错误点的容忍程度。$ϵ$越大，则表示对错误的容忍度越大
  

Support Vector Regression Dual

接下来将推导SVR的Dual形式

先令拉格朗日因子${\alpha }_n^{\vee }$和${\alpha }_n^{\wedge }$，分别是与${\xi }_n^{\vee }$和${\xi }_n^{\wedge }$不等式相对应

令相关参数偏微分为零，得到相应的KKT条件：

观察SVM primal与SVM dual的参数对应关系，直接从SVR primal推导出SVR dual的形式：

SVR dual形式下推导的解$w$为：
$$w=\sum _{n=1}^N({\alpha }_n^{\wedge }-{\alpha }_n^{\vee })z_n$$

相应的complementary slackness为：
$$\begin{array}{rl}{\alpha }_n^{\wedge }\left(ϵ+{\xi }_n^{\wedge }-y_n+{\mathbf{w}}^T{\mathbf{z}}_n+b\right)& =0\\ {\alpha }_n^{\vee }\left(ϵ+{\xi }_n^{\vee }+y_n-{\mathbf{w}}^T{\mathbf{z}}_n-b\right)& =0\end{array}$$

对于分布在tube中心区域内的点，满足$|w^T{z}_n+b-y_n|<ϵ$，此时忽略错误，${\xi }_n^{\vee }$和${\xi }_n^{\wedge }$都等于零。则complementary slackness两个等式的第二项均不为零，必然得到${\alpha }_n^{\vee }=0$和${\alpha }_n^{\wedge }=0$，即${\beta }_n={\alpha }_n^{\wedge }-{\alpha }_n^{\vee }=0$
所以，对于分布在tube内的点，得到的解${\beta }_n=0$，是sparse的。而分布在tube之外的点，${\beta }_n\ne 0$。

Summary of Kernel Models

上图中相应的模型也可以转化为dual形式，引入kernel：

7 – Blending and Bagging

介绍Aggregation Models，即如何将不同的hypothesis和features结合起来，让模型更好
主要介绍两个方法：Blending和Bagging

Motivation of Aggregation

不同的hypothesis相当于给出了很多不同的的选择，所以选择方法也很重要，一般有：

1. 直接选择在验证集上犯错误最小的模型，不能发挥集体的智慧
2. 无差别地考虑所有的hypothesis，有点像所谓的民主国家的一人一票
3. 考虑所有的hypothesis，但是分配不同的权重
4. 权重不是固定的，根据不同的条件，给予不同的权重

就像问朋友买股票的建议

对应以下四个数学模型：
$$\begin{array}{rl}& G(x)=g_{t_{\ast }}(x)with{t}_{\ast }=\underset{t\in 1,2,\cdots ,T}{\mathrm{argmin}}{E}_{val}(g_t^{-})\\ & G(x)=sign\left(\sum _{t=1}^{T}1\cdot g_t(x)\right)\\ & G(x)=sign\left((\sum _{t=1}^T{\alpha }_t\cdot g_t(x)\right)with{\alpha }_t\ge 0\\ & G(x)=sign\left((\sum _{t=1}^T{q}_t(x)\cdot g_t(x)\right)with{q}_t(x)\ge 0\end{array}$$

为什么Aggregation能表现得更好?
\qquad\qquad\qquad \qquad

• 如左图：如果要求只能用一条水平的线或者垂直的线进行分类，那不论怎么选取直线，都不能将点完全分开，但如果用水平的和垂直的线组合就可以得到更好地分类效果。这表明：将不同的hypotheses均匀地结合起来，得到了比单一hypothesis更好的预测模型。

• 如右图的PLA算法：将所有可能的hypothesis结合起来，以投票的方式进行组合选择，最终会发现投票得到的分类线就是中间黑色那条。这表明：aggregation也起到了正则化（regularization）的效果，让预测模型更具有代表性。

feature transform和regularization是对立的，aggregation却能将feature transform和regularization各自的优势结合起来。

Uniform Blending

将每一个可能的矩赋予权重1，进行投票，得到的$G(x)$表示为：
$$g(x)=sign(\sum _{t=1}^{T}1\cdot g_t(x))$$

这种方法对应三种情况：

如果是regression回归问题，uniform blending的做法就是将所有的矩$g_t$求平均值：
$$G(x)=\frac{1}{T}\sum _{t=1}^T{g}_t(x)$$

uniform blending for regression对应两种情况：

不同矩$g_t$的组合和集体智慧，都能得到比单一矩$g_t$更好的模型。
证明： ·························································································
1、对单一样本$x$

注意：$G(t)=avg(g_t)$
$avg((g_t(x)-f(x){)}^2)-(G-f{)}^2=avg((g_t-G{)}^2)>0⟶g_t$的平均$G(t)=avg(g_t)$表现更好。

2、对整个样本$x$分布

$avg(E_{out}(g_t))\ge E_{out}(G)$证明了计算$g_t$的平均值$G(t)$要比单一的$g_t$更接近目标函数$f$，regression效果更好。
证毕 ·························································································

对$g_t$求平均得到$G$，当做无限多次，即目标数$T$趋向于无穷大时：
$$\overline{g}=\underset{T\to \infty }{\lim }G=\underset{T\to \infty }{\lim }\frac{1}{T}\sum _{t=1}^T{g}_t=\underset{D}{ϵ}A(D)$$
当T趋于无穷大的时候，$G=\overline{g}$，则有如下等式成立：

一个演算法的平均表现可以看成所有$g_t$的共识$+$不同$g_t$之间的差距，即：bias+variance。因此，uniform blending求平均的过程，削减了variance，使得算法表现更好、更稳定。

• 左边表示演算法误差的期望值，
• 右边第一项表示不同$g_t$与共识的差距是多少，反映$g_t$之间的偏差，用方差$variance$表示；
• 右边第二项表示不同$g_t$的平均误差共识，用偏差bias表示。

Linear and Any Blending

linear blending，每个$g_t$赋予的权重${\alpha }_t$并不相同(${\alpha }_t\ge 0$)，最终得到的预测结果等于所有$g_t$的线性组合：

如何确定${\alpha }_t$的值，方法是利用误差最小化的思想，找出最佳的${\alpha }_t$，使$E_{in}(\alpha )$取最小值。

例如：

求解${\alpha }_t$的方法类似之前的two-level learning，先计算$g_t(x_n)$，再进行linear regression得到${\alpha }_t$值。

linear blending由三个部分组成：LinModel，hypotheses as transform，constraints，其实计算过程中可以把$g_t$当成feature transform，求解过程就跟之前没有什么不同

如果${\alpha }_t<0$，会怎么样呢？

• 其实${\alpha }_t<0$并不会影响分类效果，只需要将正类看成负类，负类当成正类即可。这样就可以去掉约束条件了

Linear Blending中的$g_t$是通过模型选择得到的，利用validation，从$D_{train}$中得到$g_1^{-},g_2^{-},\cdots ,g_T^{-}$，然后将$D_{train}$中各个矩计算每个数据点得到的值代入到相应的linear blending计算公式中，迭代优化得到对应$\alpha$值。最终，再利用所有样本数据，得到新的$g_t$代替$g_t^{-}$，则$G(t)$就是$g_t$的线性组合而不是$g_t^{-}$，系数是${\alpha }_t$。


除了linear blending之外，还可以使用任意形式的blending。linear blending中，$G(t)$是$g(t)$的线性组合；any blending中，$G(t)$可以是$g(t)$的任何函数形式（非线性），这种形式的blending也叫做Stacking。

any blending：

• 优点：是模型复杂度提高，更容易获得更好的预测模型
• 缺点：是复杂模型也容易带来过拟合的危险。通过采用regularization的方法，让模型具有更好的泛化能力。

Bagging(Bootstrap Aggregation)

blending的做法就是将已经得到的矩$g_t$进行aggregate的操作。具体的aggregation形式包括：uniform，non-uniforn和conditional

如何得到不同的$g_t$呢？

前面讲的bias-variance：一个演算法的平均表现可以被拆成两项，一个是所有$g_t$的共识（bias），一个是不同$g_t$之间的差距是多少（variance）。每个$g_t$都是需要新的数据集的。只有一份数据集的情况下，如何构造新的数据集？

其中，$\overline{g}$是在矩个数T趋向于无穷大的时候，不同的$g_t$计算平均得到的值。

为了得到$\overline{g}$，可以用两个近似条件：

• 有限的T
• 由已有数据集D构造出$D_t-P^N$，独立同分布（这个近似条件的做法就是bootstrapping）

bootstrapping是统计学工具，从已有数据集D中模拟出其他类似的样本$D_t$：

• 假设有 N 笔资料，先从中选出一个样本，再放回去，再选择一个样本，再放回去，共重复 $N$ 次。就得到了一个新的$N$笔资料，新的${\breve{D}}_t$中可能包含原$D$里的重复样本点，也可能没有原$D$里的某些样本，${\breve{D}}_t$ 与 $D$ 类似但又不完全相同。
  

用bootstrap进行aggragation的操作就被称为bagging

Bagging Pocket算法的例子如下：

• 先通过bootstrapping得到25个不同样本集，再使用pocket算法得到25个不同的$g_t$，每个pocket算法迭代1000次。最后，再利用blending，将所有的$g_t$融合起来，得到最终的分类线（黑线）
• bootstrapping会得到差别很大的分类线（灰线），但是经过blending后，得到的分类线效果不错，所以bagging通常能得到很好的分类模型。
• 注意：只有当演算法对数据样本分布比较敏感的情况下，才有比较好的表现。
  

---

---

8 – Adaptive Boosting

Motivation of Boosting

将简单的hypotheses $g_t$很好地融合，可以得到更好的预测模型G。例如，二维平面上简单的hypotheses（水平线和垂直线），有效组合可以很好地将正负样本完全分开。

Diversity by Re-weighting

Bagging的核心是bootstrapping，通过对原始数据集$D$不断进行bootstrap的抽样动作，得到与$D$类似的数据集${\hat{D}}_t$，每组${\hat{D}}_t$t都能得到相应的$g_t$，从而进行aggregation操作。

假如：~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

对于新的${\hat{D}}_t$，base algorithm找出$E_{in}$最小时对应的$g_t$：
$$E_{in}^{0/1}(h)=\frac{1}{4}\sum _{n=1}^4[y\ne h(x)]$$

由于${\hat{D}}_t$完全是$D$经过bootstrap得到的，其中各个样本出现次数不同。引入一个参数$u_i$来表示原$D$中第$i$个样本在${\hat{D}}_t$中出现的次数：
$$E_{in}^u(h)=\frac{1}{4}\sum _{n=1}^4{u_n}^{(t)}\cdot [y_n\ne h(x)]$$

参数$u$相当于是权重因子，${\hat{D}}_t$中第$i$个样本出现的次数越多，对应的$u_i$越大，表示在error function中对该样本的惩罚越多

所以，bagging其实就是通过bootstrap的方式得到这些$u_i$值，再用base algorithn最小化包含$u_i$的error function，得到不同的$g_t$。这个error function被称为bootstrap-weighted error。

最小化bootstrap-weighted error的算法叫做Weightd Base Algorithm：
$$\begin{array}{l}\text{ minimize (regularized) }\\ E_{\text{ in }}^{\mathrm{u}}(h)=\frac{1}{N}{\sum }_{n=1}^N{u}_n\cdot \mathrm{err}\left(y_n,h\left({\mathbf{x}}_n\right)\right)\end{array}$$

weightd base algorithm和之前算法类似，如：

• soft-margin SVM引入允许犯错的项，同样可以将每个点的error乘以权重因子$u_n$。加上该项前的参数$C$，经过QP，最终得到$0\le {\alpha }_n\le C{u}_n$。有别于之前的$0\le {\alpha }_n\le C$。这里的$u_n$相当于每个犯错的样本的惩罚因子，并会反映到${\alpha }_n$的范围限定上。
• 同样在logistic regression中，对每个犯错误的样本乘以相应的$u_n$作为惩罚因子。$u_n$表示该错误点出现的次数，$u_n$越大，则对应的惩罚因子越大，则在最小化error时就应该更加重视这些点。

由上节可知：$g_t$越不一样，其aggregation的效果越好，即每个人的意见越不相同，越能运用集体的智慧，得到好的预测模型。不同的$u$组合经过base algorithm得到不同的$g_t$。那么如何选取$u$，使得到的$g_t$之间有很大的不同呢？

先看看$g_t$和$g_{t+1}$怎么得到：

如上所示，$g_t$是由$u_n^t$得到的，$g_{t+1}$是由$u_n^{(t+1)}$得到的。如果$g_t$代入$u_n^{(t+1)}$时得到的error很大，即预测效果非常不好，那就表示由$u_n^{(t+1)}$计算的$g_{t+1}$会与$g_t$有很大不同

具体怎么做呢？

1. 如果在$g_t$作用下，$u_n^{(t+1)}$中的表现（即error）近似为0.5的时候，表明$g_t$对$u_n^{(t+1)}$的预测分类没有什么作用，最大限度地保证$g_{t+1}$会与$g_t$有较大的差异性：
   
2. 做一些等价处理，其中分式中分子是$g^{}$