西瓜书学习笔记第6章【支持向量机】

6.1间隔与支持向量

支持向量机（Support Vector Machine，简称SVM）

直观上看，应该去找位于两类训练样本“正中间”的划分超平面，即图6.1中红色的那个，因为该划分超平面对训练样本局部扰动的“容忍”性最好.例如，由于训练集的局限性或噪声的因素，训练集外的样本可能比图6.1中的训练样本更接近两个类的分隔界，这将使许多划分超平面出现错误，而红色的超平面受影响最小，换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。


其中每个样本点对应一个特征向量。

间隔貌似仅与w有关，但事实上b通过约束隐式地影响着w的取值，进而对间隔产生影响。

6.2对偶问题

6.3核函数

在本章前面的讨论中，我们假设训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类，然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面，例如图6.3中的“异或”问题就不是线性可分的。

6.4软间隔与正则化

在前面的讨论中，我们一直假定训练样本在样本空间或特征空间中是线性可分的，即存在一个超平面能将不同类的样本完全划分开，然而，在现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分；退一步说即便恰好找到了某个核函数使训练集在特征空间中线性可分，也很难断定这个貌似线性可分的结果不是由于过拟合所造成的.
缓解该问题的一个办法是允许支持向量机在一些样本上出错.为此，要引入“软间隔”（soft margin）的概念，如图6.4所示.

6.5支持向量回归

6.6核方法

6.7思维导图

支持向量机是一种常用的分类模型，分类学习的基本思想就是基于训练集在样本空间找到一个划分超平面，将不同类别的样本分开。学习的目标是为了找到具有最大间隔的划分超平面。

参考连接