西瓜书第六章

（部分图片来自于：http://t.csdn.cn/suVs3

1.间隔与支持向量：

在样本空间中，划分超平面可通过下面线性方程来描述：

“间隔”：

2.对偶问题：

对对偶问题的理解：

我们定义拉格朗日函数：也就是说我们找到了原问题最优值的一个下界。既然我们找到了一个下界，显然我们要找到它最好的下界。什么是最好的下界的？显然就是所有下界当中最大的那一个。所以我们要把最大化，当然我们还要记得我们需要限制。

3.核函数：

（详见书本）

对核函数的理解：

核函数：是映射关系 的内积，映射函数本身仅仅是一种映射关系，并没有增加维度的特性，不过可以利用核函数的特性，构造可以增加维度的核函数，这通常是我们希望的。

4. 支持向量回归：

支持向量机除了能够分类，还可以用于回归。

回归的目的是得到一个能够尽量拟合训练集样本的模型，通常用的方法是构建一个样本标签与模型预测值的损失函数，使损失函数最小化从而确定模型f ( x ) 。

5.核方法：

核方法kernel methods (KMs)是一类模式识别的算法。
目的：找出并学习一组数据中的相互的关系。用途较广的核方法有支持向量机、高斯过程等。核方法是解决非线性模式分析问题的一种有效途径。

3 核方法的优势（来自于：http://t.csdn.cn/jq1qF）

1）通用非线性学习器不便反应具体应用问题的特性，而核方法的非线性映射由于面向具体应用问题设计而便于集成问题相关的先验  
      知识。

2）线性学习器相对于非线性学习器有更好的过拟合控制从而可以更好地保证泛化性能。

3）很重要的一点是核方法还是实现高效计算的途径，它能利用核函数将非线性映射隐含在线性学习器中进行同步计算，使得计算复杂度与高维特征空间的维数无关。