SVM的对偶问题与核方法

支持向量机（SVM）算法里，常常利用拉格朗日对偶性将原始问题转化为对偶问题来求解。对偶问题通过优化拉格朗日乘子矢量α来间接得到权值矢量ω，因此与样本的特征维数d无关；并且，训练样本以任意两个矢量内积的形式出现，而不必知道每一维的具体特征。这两个特点是引入核方法的基础。

核方法的实质是将d维的输入空间映射到r维的特征空间(r > d)。这样，原来低维里线性不可分的训练样本，在高维里可能用一个超平面将其分开。核方法巧妙的地方是，不必真正去定义非线性映射Φ，只需要定义一个核函数K等价地计算映射之后的两个矢量的内积即可。并且，不管r有多大，也不会有计算问题。

不过，用核函数来实现非线性的SVM，无法像线性的SVM那样可以间接计算出权值矢量ω（因为没有定义非线性映射Φ）。在识别的时候，要通过核函数K来计算测试样本与训练样本（只需要支持向量即可）在特征空间的内积，才能得到判别输出。