机器学习——Support Vector Machines支持向量机模型

学习目标:
1·了解什么是Support Vector Machines;

Introduction:

首先明确,支持向量机模型是解决分类问题的非常好的一个工具。
为了方便理解,我们给出如下实例:
机器学习——Support Vector Machines支持向量机模型_第1张图片
在上图中有两组不同的散点,如果我们要去判断某一个点属于粉色还是蓝色,我们的判断依据是什么?
首先可以想到,通过分割平面的方法把平面分成两部分,这些点落在哪一个平面就属于哪一类。那么问题又来了,我们如何去确定这一条线呢?在下图中我画出了三条直线,应该选择那一条呢?
机器学习——Support Vector Machines支持向量机模型_第2张图片
当然,我们目测最理想的划分标准应该为中间的灰色线。我们接下来仔细分析一下:
机器学习——Support Vector Machines支持向量机模型_第3张图片
我们在画这条线的时候,希望对于两组散点是“公平的”。如上图所示,我们希望在左右平移这条分割线的时候,到两组散点的距离是一样的,也就是希望中间的“间隔”是最大的。那么这个距离又是由什么决定的呢?是由上图圈出的这些点所决定的。我们把这些点称为:Support Vectors(可以理解为是这些点支撑着这条线不在左/右移动,用来确定边界的。)
机器学习——Support Vector Machines支持向量机模型_第4张图片
我们可以通过画直线来解决上述问题,但是下图这种情况又应该怎么处理呢?
机器学习——Support Vector Machines支持向量机模型_第5张图片
有人可能要说了,这种情况直接画个圆不就解决了。但是让计算机计算出一个圆是十分费时、复杂的一件事,我们希望这个分割标准越简单越好,就像直线一样是线性的分类准则!回想一下第一个问题,我们是不是用一维的直线把二维的平面分成两个。那么我们可以用二维平面去分割三维物体吗?可以用九维”平面“去分割十维物体吗?答案是可以的,我们把上述”平面“称为:超平面
支持向量机模型就是用来解决这种问题的,他的核心思想是:在低维中线性不可分的”东西“,将其按照一定的投影规则投影到更高维度,也许就线性可分了。而在高维中找到的分割标准(可分依据)再通过相应的投影规则,将其投影回低维。 便找到了最简单的分割标准。我们通过如下实例理解:
机器学习——Support Vector Machines支持向量机模型_第6张图片
左图中,我们发现这些点在二维中是线性不可分的。但是我们把他按照一定的投影规则,投影到三维中去,如右图。这时,我们就可以找到一个平面使得这些点是线性可分的。
机器学习——Support Vector Machines支持向量机模型_第7张图片
OK,我们已经找到了。现在只需要把这个平面再投影回到二维中去,我们就找到了这个分割标准。(如上图所示)

投影法则:

我这边简单的列出来三个常用的投影法则。
机器学习——Support Vector Machines支持向量机模型_第8张图片
当然,在使用Support Vector Machines 的时候还有很多细节得注意,比方说超参数等。因为尤其重要,所以我会专门写一篇关于SVM的代码注意事项。所以,今天的介绍就只是初步的了解了一下SVM的核心原理…

你可能感兴趣的:(大数据,支持向量机,机器学习)