Andrew Ng 机器学习笔记（七）

最优间隔分类器问题

今天还是接着上一期讲支持向量机的问题，但是首先会先讲最优间隔分类器问题。

对偶问题

对偶问题是这样的，并且，通常情况下d^*<=p^*，p^*是原始最优化问题的值，换句话说，通常情况下，对某个函数取max min的值，总是小于等于其取min max的值。但事实证明，在某种特殊情况下，这两个最优化问题会取相同的值，原始问题会和对偶问题取相同的值，这时你可以用对偶问题代替原始问题进行求解，这样做的原因是在稍后的最优间隔分类器问题和支持向量机问题中，对偶问题通常会变得更加简单，而且和原始问题相比，具有更多有用的性质。

然后Ng会推导出原始问题和对偶问题等价的条件，我们之所以导出支持向量机算法的策略是，我们会写出原始的最优化问题（之前已经做过了），之后会导出原始问题的对偶问题，之后我们会求解对偶问题，然后进行一些修改。这就是我们推导出支持向量机的方法。

KKT互补条件

支持向量机

首先看一个训练集，这个样本中两个o和一个x的函数间隔都等于1，只有少量的样本到超平面的距离是最小距离，上图中只有三个样本的函数间隔等于1，这些样本我们称之为支持向量（support vectors），支持向量机中的支持向量就是这个意思。这三个函数间隔为1的训练样本，我们称之为支持向量。支持向量的数量很少，这意味着多数的αi=0，如果αi=0那么即意味着其对应的样本不是支持向量。

最优间隔分类器 = 支持向量机

核

实际上，在SVM的特征向量空间中，有时候你的训练赝本的维数会非常高，甚至有可能你用到的特征向量是无线维的向量，事实证明，这是一种有趣的方法，来高效的计算内积，这个结论仅对于一些特定的特征空间成立。