支持向量机【Coursera 斯坦福 机器学习】

本文基于coursera 斯坦福 吴恩达机器学习课程

谢绝任何不标注出处的转载以及百度百家号抄袭

如有问题请联系作者


很多监督学习的效果都非常相似。支持向量机(Support Vector Machines, SVM)就是其中一种很强大的监督学习。


1. SVM V.S. Logistic Regression

SVM的定义可以和逻辑回归类比着看。

首先复习一下逻辑回归。逻辑回归和线性回归假设对比如下所示,逻辑回归常用函数为sigmoid。

支持向量机【Coursera 斯坦福 机器学习】_第1张图片

下图为sigmoid函数。

支持向量机【Coursera 斯坦福 机器学习】_第2张图片


对于逻辑回归,我们有cost function:

支持向量机【Coursera 斯坦福 机器学习】_第3张图片

其中,当y分别为1和0时,cost function(无正则化)函数图像为(h为sigmoid):

支持向量机【Coursera 斯坦福 机器学习】_第4张图片

对于SVM,我们将此cost function图像改变为下图红色粗线所示。分别给两个函数命名为cost0(z)和cost1(z),角标即为y值。

支持向量机【Coursera 斯坦福 机器学习】_第5张图片

那么我们有新的cost function。首先,我们去掉m得到第二行的公式。然后需要一个思想的转换:逻辑回归中,我们用正则化系数λ控制惩罚度,SVM我们使用一个C来控制基础的cost function, 以此达到类似正则化的效果。最终带正则化的cost function为第三行公式。当C=1/λ时,两个cost function结果相同;此时,如果C很大(即λ很小),我们会面临low bias, high variance问题;反之,是high bias, low variance。

支持向量机【Coursera 斯坦福 机器学习】_第6张图片

综上,我们得到SVM的假设:

支持向量机【Coursera 斯坦福 机器学习】_第7张图片


2. Large Margin & Linear Descision Boundaries

2.1 向量内积

我们有向量u和v, 那么可以得到v在u上的映射为p, 则有: u^T*v = p * ||u||,其中,||u||为向量u的长度。

支持向量机【Coursera 斯坦福 机器学习】_第8张图片

推导过程如下:

支持向量机【Coursera 斯坦福 机器学习】_第9张图片

如此一来,θ^T*X就可以被写为如下公式,p为向量X投影到θ上的内积(标量,有正负值)。


2.2 SVM margin

对于SVM的cost function,我们有():

支持向量机【Coursera 斯坦福 机器学习】_第10张图片

如下图所示,当y=1时,我们希望θ^T*x可以大于1(使得cost1为0);当y=0时,我们希望θ^T*x可以小于-1. 如此一来,A项为0,我们只需要最小化B即可。

支持向量机【Coursera 斯坦福 机器学习】_第11张图片

根据2.1向量内积的知识,θ^T*X = p * ||θ||,且可以把B写作:

支持向量机【Coursera 斯坦福 机器学习】_第12张图片

当y=1, 我们希望p * ||θ|| > 1;当y=0, 我们希望p * ||θ|| < -1.

现在举一个例子来说明这两个不等式和B项的关系。首先方便起见,我们假设θ0 = 0。如下图所示,两个类别中的数据离SVM descision boundary最近的距离被称为margin。左图的margin明显小于右图。通常,SVM会倾向于选择margin大的decision boundary。

原理如下:θ向量是decision boundary的转置,所以θ和decision boundary是垂直关系,作图可以得知:左图的p(由数据点x到θ向量的投影)会小于右图的p。当y=1时,为了确保θ^T*X = p * ||θ||>1,p越小,||θ||需要越大;当y = 0时,p为负值,为了确保θ^T*X = p * ||θ||<-1,p越小,||θ||需要越大。而我们cost function的初衷就是最小化θ,所以我们需要大的p值。这也是为什么SVM会选择margin大的decision boundary

支持向量机【Coursera 斯坦福 机器学习】_第13张图片

以上例子是建立在θ0=0的特例上的,对于普通情况依然适用。这里需要注意一个小问题,当C十分大时,decision boundary很容易受到outlier的影响;反之,decision boundary对outlier不敏如下图所示。

支持向量机【Coursera 斯坦福 机器学习】_第14张图片

此外,其实在编程中B项的θ^2是被写作θ^T*M*θ的,M是一个矩阵,这里没有太明白


3. Kernels & Non-linear Decision Boundaries

这里依然用例子说明。如下图所示,我们有如下decision boundary和hypothesis。可以看到,我们的hypothesis是由x1和x2组成的函数,那么就可以改写成红色的函数。其中f1, f2, ...是由x1和x2构成的函数。我们期望所有的蓝圈都能被x1和x2表示为一类,所有的黄叉被表示为另一类,所以我们要在f上做文章。

支持向量机【Coursera 斯坦福 机器学习】_第15张图片

对于每个f,我们有:

支持向量机【Coursera 斯坦福 机器学习】_第16张图片

其中,i为第i个函数; exp为similarity(即kernel)的一种,被称作Gussian Kernels; j为第j个数据点;σ为参数,用来决定"how fast the similarity metric decreases (to 0)"。当σ很大时,f会比较smooth,拥有high bias, low variance; 当σ小时,f会比较sharp,low bias, high variance。l为由x1和x2组成的坐标轴上的点(landmarks)。

那么如何选择landmark呢?我们会将每一个数据点的位置赋值一个landmark, 如下图所示。从上图公式中可知,若x与l(i)很相似,fi接近于exp(0)=1. 若x与l(i)差值越大,fi越接近于0。因为x和l一模一样,所以每个f的值都为1, 为了补位,我们加上了f0(恒为1),所有小f构成了一个m+1长度的f向量,用于θ^T*f的计算。

支持向量机【Coursera 斯坦福 机器学习】_第17张图片

下图是一个用来看exp()函数的plot。

支持向量机【Coursera 斯坦福 机器学习】_第18张图片

下图为课程中给出的不同σ的例子:

支持向量机【Coursera 斯坦福 机器学习】_第19张图片

由f的公式可知,每一个f都对应着一个l,当h用f表示时,其实也是h被l以某种形式呈现出来。那么对于x1,x2构成的关于l的图像,我们就有:

支持向量机【Coursera 斯坦福 机器学习】_第20张图片

这里是有点绕的。我们用每一个x与某一个landmark的“相似度”(similarity)的平方和来衡量f应该为0还是1;然后再通过每一个f得到的值放入h中,得到估计值为1的landmarks的分布。


4. 使用SVM与kernel的选择

现在SVM有很多包,主要需要我们选择的就是C和kernel (similarity function)。很多SVM包已经能直接操作multi-classification 问题了。除此之外,可以使用one-vs-all mehtod。

对于kernel的选择,有如下方案:

(1)no kernel (linear kernel):当θ^T*xi≥0时,估计值为1。如果feature的数量n很大,训练集数据量m很小,那么我们可以选择这种方法。此时,也可以直接使用逻辑回归。如果n十分小,m非常大(例如n与m相差50倍等),也可以用无kernel的SVM或逻辑回归。这也说明,没有kernel的SVM和逻辑回归十分相似。

(2)Gaussian Kernel(最常用): 

 这里我们需要选择σ。如果n小m一般大,可以用这种方法。在使用Gaussian kernel之前一定要做feature scaling

(3)other kernels: 这里需要注意的是,并不是所有的similarity functions都能产生有效的kernel(需要满足一个叫“Mercer's Theorem”的东西)。可用的kernel有:

a. polynomial kernel:  k(x, l) = (x^T*l)^2, (x^T*l)^3, (x^T*l +1)^3, ...多项式kernel的主要参数为加在x^T*l后的常数和其degree(有一点像GAM里面的polynomial splines啊)。polynomial kernel不是很常用。

b. String kernel

c. chi-square kernel

d. histogram intersection kernel, ... 

这些都是极少用到的。

在选择参数和kernel时,我们只选择在CV 数据集中表现最好的那个。

对于(1)和(2)提到的m和n的不同情况,神经网络都能兼容并且做的不错,就是建模可能会慢一些。


最后复习一点,逻辑回归的cost function是convex凸面的,所以梯度下降只会返回global optimal。

你可能感兴趣的:(machine,learning)