【Python机器学习】SVM——一些理论知识

        向数据中添加非线性特征，可以让线性模型变得强大，但是通常来说我们不知道要添加哪些特征，而且添加许多特征的计算开销会很大。有一种技巧可以在更高维度中学习分类器，而不用实际计算可能非常大的新的数据表示，这种技巧叫做核技巧，它的原理是直接计算扩展特征表示中数据点的距离（内积），而不用实际对扩展进行计算。

        对于支持向量机，将数据映射到更高维空间中有两种办法：一种是多项式核，在一定阶数内计算原始特征的所有可能的多项式；另一种是径向基函数核，也叫高斯核，高斯核对应无限维的特征空间。还有一种对高斯核的解释是它考虑所有阶数的所有可能的多项式，但阶数越高，特征的重要性越小。

        在训练过程中，SVM学习每个训练数据点对于表示两个类别之间的决策边界的重要性，通过只有一部分训练数据点对于定义决策边界来说很重要：位于类别之间边界上的那些点，叫做支持向量。

        想要对新样本点进行预测，需要测量它与每个支持向量之间的距离。分类决策是基于它与支持向量之间的距离以及在训练过程中学到的支持向量重要性来做出的。