SVM笔记之核方法与核函数

前面对非线性支持向量机进行了简单的介绍。例如moons数据集，为其增加一个维度，即可很容易地构造一个平面对两类样本进行分割。然而，若映射至3维空间无法较好分割则需要映射到更高维空间，尤其是当原始数据维度较高时，可能需要将其映射到无穷维空间，这根本无法计算。

首先，给出核函数的定义。
定义：设$\mathcal{X}$是输入空间，为欧氏空间${\mathbb{R}}^n$及其子空间或离散的几何，又设$\mathcal{H}$为特征空间，为希尔伯特空间，若存在一个从$\mathcal{X}$到$\mathcal{H}$的映射$\varphi (\mathbf{x}):\mathcal{X}\to \mathcal{H}$使得对所有的$\mathbf{x},\mathbf{z}\in \mathcal{X}$函数$K(\mathbf{x},\mathbf{z})$满足条件$K(\mathbf{x},\mathbf{z})=\varphi (\mathbf{x})\cdot \varphi (\mathbf{z})$则称$K(\mathbf{x},\mathbf{z})$为核函数，$\varphi (\mathbf{x})$为映射函数，而$\varphi (\mathbf{x})\cdot \varphi (\mathbf{z})$称为$\varphi (\mathbf{x})$和$\varphi (\mathbf{z})$的内积。

正如之前在对偶问题的求解和SMO算法中，将${\mathbf{x}}^{\top }\mathbf{x}$写成内积的形式，即用核函数进行代替。通过核函数，我们并不需要显式地定义原始空间到特征空间的映射，仅通过定义核函数就可以在原始空间中进行计算，再通过内积体现在高维的特征空间当中，避免了在高维空间中进行复杂的计算。

然而，一个函数是否是核函数是有条件的，我们往往要求其是正定核函数（因为此时才能够保证特征空间的存在）。我们需要去找正定核函数的充要条件。

定理:设$K:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$是对称函数，则$K(\mathbf{x},\mathbf{z})$是正定核函数的充要条件是对任意${\mathbf{x}}_{\mathbf{i}}\in \mathcal{X},i\in [m]$，$K(\mathbf{x},\mathbf{z})$对应的Gram矩阵$K={\left[K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\right]}_{m\times m}$是半正定矩阵。
在此不做证明，可参考李航老师《统计学习方法》中的证明。实际应用中我们往往是直接应用已有的函数。下面对常见的核函数进行介绍。

• 线性核函数
  $$\begin{array}{r}K(\mathbf{x},\mathbf{z})=\mathbf{x}\cdot \mathbf{z}\end{array}$$
• 多项式核函数
  $$\begin{array}{r}K(\mathbf{x},\mathbf{z})=(\gamma \mathbf{x}\cdot \mathbf{z}+r{)}^p\end{array}$$
• 高斯核函数
  $$\begin{array}{r}K(\mathbf{x},\mathbf{z})=e^{-\gamma \Vert \mathbf{x}-\mathbf{z}{\Vert }^2}\end{array}$$
• Sigmoid核函数
  $$\begin{array}{r}K(\mathbf{x},\mathbf{z})=tanh(\gamma \mathbf{x}\cdot \mathbf{z}+r)\end{array}$$