《统计学习方法，李航》：7、支持向量机support vector machine（2）

0）基础知识——线性可分支持向量机定义；函数间隔和集合间隔定义

1）线性硬间隔支持向量机

2）凸二次规划最优解求法——对偶方法

3）线性硬间隔支持向量机学习算法及简单实例

4）线性软间隔支持向量机

5）核函数

6）非线性支持向量机

7）序列最小最优化算法（SMO算法）

8）支持向量

5）核函数

   对于原始空间（输入空间）线性不可分的情况，常用的办法是（非线性）映射。通过非线性映射，将线性不可分的样本点映射到另一个新维度（特征空间）下，从而使映射后的样本在新维度（特征空间）下线性可分。这种映射我们可以称核技巧，关于核技巧的描述：

    下面先给出核函数的定义：

    根据核函数的描述，直接给出映射函数不就可以了，为什么要给核函数呢：

    先举个例子说明核函数和映射函数之间的关系：

    上面的例子说明给定一个核函数，可以对应不同的特征空间H和不同的映射函数，那么什么样的核函数才是有效（能找到对应的映射函数）地呢？答案是核必须是正定核：

6）非线性支持向量机

    上一节中讲到核函数的有效性是针对能不能找到对应的映射函数（正定核），除了保证核是正定核，实际应用中还要看领域知识确定映射后的核函数，我们给出几个常用的核函数：

   经过上面的讨论，我们就不难得出下面的非线性支持向量计算法：

7）序列最小最优化算法（SMO算法）

    第2节中提到“我们是假设α*知道了，但α*的具体求法还要到SMO算法中给出”，现在给出α*的求法：

    参考以前的文章。具体算法参考书中P126-P130。

8）支持向量