【机器学习】核函数

核方法

核技巧

非线性分类问题是指通过利用非线性模型才能很好地进行分类的问题。如图 $1$ 所示，“●”表示正样本，“×”表示负样本，显然无法用直线（线性模型）将正负样本正确分开，但是可以用一条椭圆曲线（非线性模型）将它们分开。

一般来说，对给定的一个训练数据集 $D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)\}$，其中，样本 $x_i$ 属于输入空间，$x_i\in \mathcal{X}={\mathbb{R}}^d$，对应的标签有两类 $y_i\in \mathcal{Y}=\{-1,+1\}$，$i=1,2,\dots ,n$。如果能用 ${\mathbb{R}}^d$ 中的一个超曲面将正负样本正确分开，则称这个问题为非线性可分问题。

图 1    非线性分类问题与核技巧示例

非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。对图 $1$ 所示的例子，通过变换，将左图中椭圆变换成右图中的直线，将非线性分类问题变换为线性分类问题。

设原空间为 $\mathcal{X}\subset {\mathbb{R}}^2$，$x=(x^{(1)},x^{(2)}{)}^T\in \mathcal{X}$，新空间为 $\mathcal{Z}\subset {\mathbb{R}}^2$，$z=(z^{(1)},z^{(2)}{)}^T\in \mathcal{Z}$，定义从原空间到新空间的变换（映射）：
$$z=\varphi (x)=({\varphi }_1(x^{(1)}),{\varphi }_2(x^{(2)}){)}^T=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T$$
经过变换 $z=\varphi (x)$，原空间 $\mathcal{X}\subset {\mathbb{R}}^2$ 变换为新空间 $\mathcal{Z}\subset {\mathbb{R}}^2$，原空间中的点相应地变换为新空间中的点，原空间中的椭圆
$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$
变换成为新空间中的直线
$$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$$
在变换后的新空间里，直线 $w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$ 可以将变换后的正负样本正确分开。这样，原空间的非线性可分问题就变成了新空间的线性可分问题。

上面的例子说明，用线性分类方法求解非线性分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间；然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧就属于这样的方法。

核函数

设 $\mathcal{X}$ 是输入空间（欧氏空间 ${\mathbb{R}}^d$ 的子集或离散集合），又设 $\mathcal{H}$ 为特征空间（希尔伯特空间，Hilbert space），如果存在一个从 $\mathcal{X}$ 到 $\mathcal{H}$ 的映射
$$\varphi (x):\mathcal{X}\to \mathcal{H}$$
使得对所有 $x,z\in \mathcal{X}$，函数 $K(x,z)$ 满足条件
$$K(x,z)=\varphi (x{)}^T\varphi (z)\text{\hspace{1em}(1)}$$
则称 $K(x,z)$ 为核函数，$\varphi (x)$ 为映射函数，式中 $\varphi (x{)}^T\varphi (z)$ 为 $\varphi (x)$ 和 $\varphi (z)$ 的内积。

注意，$\varphi$ 是输入空间 ${\mathbb{R}}^d$ 到特征空间 $\mathcal{H}$ 的映射，特征空间 $\mathcal{H}$ 一般是高维的，甚至是无穷维的。对于给定的核 $K(x,z)$，特征空间 $\mathcal{H}$ 和映射函数 $\varphi$ 的取法不唯一，可以取不同的特征空间，即便是在同一特征空间里也可以取不同的映射。举一个简单的例子来说明核函数和映射函数的关系。

例：假设输入空间是 ${\mathbb{R}}^2$，核函数是 $K(x,z)=(x^{T}z{)}^2$，我们可以找到许多满足条件的特征空间 $\mathcal{H}$ 和映射 $\varphi (x):{\mathbb{R}}^2\to \mathcal{H}$。

取特征空间 $\mathcal{H}={\mathbb{R}}^3$，记 $x=(x^{(1)},x^{(2)}{)}^T$，$z=(z^{(1)},z^{(2)}{)}^T$，由于
$$(x^{T}z{)}^2=(x^{(1)}{z}^{(1)}+x^{(2)}{z}^{(2)}{)}^2=(x^{(1)}{z}^{(1)}{)}^2+2x^{(1)}{z}^{(1)}{x}^{(2)}{z}^{(2)}+(x^{(2)}{z}^{(2)}{)}^2$$
所以可以取映射
$$\varphi (x)=((x^{(1)}{)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},(x^{(2)}{)}^2{)}^T$$
容易验证 $\varphi (x{)}^T\varphi (z)=(x^{T}z{)}^2=K(x,z)$。

仍取 $\mathcal{H}={\mathbb{R}}^3$ 以及
$$\varphi (x)=\frac{1}{\sqrt{2}}((x^{(1)}{)}^2-(x^{(2)}{)}^2,2x^{(1)}{x}^{(2)},(x^{(1)}{)}^2+(x^{(2)}{)}^2{)}^T$$
同样有 $\varphi (x{)}^T\varphi (z)=(x^{T}z{)}^2=K(x,z)$。

还可以取 $\mathcal{H}={\mathbb{R}}^4$ 和
$$\varphi (x)=((x^{(1)}{)}^2,x^{(1)}{x}^{(2)},x^{(1)}{x}^{(2)},(x^{(2)}{)}^2{)}^T$$
通过上面的例子注意到，假设特征空间 $\mathcal{H}={\mathbb{R}}^m$，那么映射函数 $\varphi (x)$ 其实可以更完整地表示为
$$\varphi (x)=({\varphi }_1(x),{\varphi }_2(x),\dots ,{\varphi }_m(x){)}^T$$
其中 ${\varphi }_i(x)$ 为基函数。对应的核函数表示为
$$K(x,z)=\varphi (x{)}^T\varphi (z)=\sum _{i=1}^m{\varphi }_i(x){\varphi }_i(z)$$
图 $2$ 所示为从对应的基函数集合构建核函数的例⼦。在每⼀列中，下面三幅图给出了由上式定义的核函数 $K(x,z)$，它是关于 $x$ 的函数，$z$ 的值在图中用红叉表示。上面三幅图给出了对应的基函数分别是多项式基函数 （左列）、⾼斯基函数（中列）、logistic sigmoid基函数（右列）。

图 2    从对应的基函数集合构建核函数的示例

上面对于核函数的定义指明了其用途，即不仅可以实现从输入空间到特征空间的非线性映射，而且可以简化映射函数的内积运算，这为在支持向量机等算法中使用核函数提供了可能。实际上，在学习与预测中，我们只定义核函数 $K(x,z)$ 而不显式地定义映射函数 $\varphi$，这是因为，通过每个样本的 $\varphi$ 值来计算 $K(x,z)$ 会使得计算变得非常复杂。可见，核函数的定义仅说明了在出现内积时可以使用核函数，但是并未介绍如何检验一个函数是否为核函数，如何构造一个复杂的核函数。

正定核

已知映射函数 $\varphi$，可以通过 $\varphi (x)$ 和 $\varphi (z)$ 的内积求得核函数 $K(x,z)$。不用构造映射 $\varphi (x)$ 能否直接判断一个给定的函数 $K(x,z)$ 是不是核函数？或者说，函数 $K(x,z)$ 满足什么条件才能成为核函数？

通常所说的核函数就是正定核函数（positive definite kernel function) 。设 $K:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$ 是对称函数，则 $K(x,z)$ 为正定核函数的充要条件是，对于任意 $m$，取任意 $x_i\in \mathcal{X}$，$i=1,2,\dots ,m$，$K(x,z)$ 对应的 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵：
$$K=[K(x_i,x_j){]}_{m\times m}$$
是半正定的。

简而言之，一个函数具有对称性，并且对应的 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵为半正定矩阵，那么可以认为其为正定核函数。下面证明充分必要性。

必要性证明

已知 $K(x,z)$ 为核函数，即式 $(1)$，证明 $K(x,z)$ 具有对称性，并且对应的 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵 $K$ 为半正定矩阵。

由于内积运算具有对称性，显然式 $(1)$ 也具有对称性。

我们利用矩阵半正定的充要条件“$\forall \alpha \in {\mathbb{R}}^m$，${\alpha }^{T}K\alpha \ge 0$”。令 $K_{ij}=K(x_i,x_j)$，则

$$\begin{array}{rl}{\alpha }^{T}K\alpha & =(\begin{array}{cccc}{\alpha }_1& {\alpha }_2& \dots & {\alpha }_m\end{array})\left(\begin{array}{cccc}{K}_{11}& K_{12}& \dots & K_{1m}\\ K_{21}& K_{22}& \dots & K_{2m}\\ ⋮& ⋮& & ⋮\\ K_{m1}& K_{m2}& \dots & K_{mm}\end{array}\right)\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_m\end{array}\right)\\ & =\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{K}_{ij}{\alpha }_j\\ & =\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{K}_{ij}\\ & =\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j\varphi (x_i{)}^T\varphi (x_j)\\ & =\sum _{i=1}^m{\alpha }_i\varphi (x_i{)}^T\sum _{j=1}^m{\alpha }_j\varphi (x_j)\\ & =(\sum _{i=1}^m{\alpha }_i\varphi (x_i){)}^T(\sum _{j=1}^m{\alpha }_j\varphi (x_j))\\ & ={\left|\left|\sum _{i=1}^m{\alpha }_i\varphi (x_i)\right|\right|}^2\\ & \ge 0\end{array}$$

其中 $\sum _{i=1}^m{\alpha }_i\varphi (x_i)$ 为向量的线性组合。可见，$\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵 $K$ 为半正定矩阵，必要性证毕。

充分性证明

已知函数 $K(x,z)$ 对应的 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵 $K$ 为半正定矩阵，证明 $K(x,z)$ 为核函数。

根据半正定矩阵性质，可以对 $K$ 进行特征值分解
$$K=v\Lambda v^T$$
其中，$\Lambda =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{\mathrm{m}})$ 为特征值矩阵，$v=\left(\begin{array}{cccc}{v}_1& v_2& \dots & v_m\end{array}\right)$，$v_i$ 为特征值 ${\lambda }_i$ 对应的特征向量，特征向量 $v_i$ 可以详细表示为 $v_i={\left(\begin{array}{cccc}{v}_{i1}& v_{i2}& \dots & v_{im}\end{array}\right)}^T$，$v_{ij}$ 表示特征向量 $v_i$ 的第 $j$ 个分量。可见，$v$ 是个 $m$ 阶单位方阵，$\Lambda$ 为半正定对角阵。

将 $K=v\Lambda v^T$ 展开

$$\begin{array}{rl}K& =v\Lambda v^T\\ & =(\begin{array}{cccc}{v}_1& v_2& \dots & v_m\end{array})\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_m\end{array}\right)\left(\begin{array}{c}{v}_1^T\\ v_2^T\\ ⋮\\ v_m^T\end{array}\right)\\ & =\left(\begin{array}{cccc}{v}_{11}& v_{21}& \dots & v_{m1}\\ v_{12}& v_{22}& \dots & v_{m2}\\ ⋮& ⋮& & ⋮\\ v_{1m}& v_{2m}& \dots & v_{mm}\end{array}\right)\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_m\end{array}\right)\left(\begin{array}{cccc}{v}_{11}& v_{12}& \dots & v_{1m}\\ v_{21}& v_{22}& \dots & v_{2m}\\ ⋮& ⋮& & ⋮\\ v_{m1}& v_{m2}& \dots & v_{mm}\end{array}\right)\\ & =\left(\begin{array}{cccc}{\lambda }_1{v}_{11}& {\lambda }_2{v}_{21}& \dots & {\lambda }_m{v}_{m1}\\ {\lambda }_1{v}_{12}& {\lambda }_2{v}_{22}& \dots & {\lambda }_m{v}_{m2}\\ ⋮& ⋮& & ⋮\\ {\lambda }_1{v}_{1m}& {\lambda }_2{v}_{2m}& \dots & {\lambda }_m{v}_{mm}\end{array}\right)\left(\begin{array}{cccc}{v}_{11}& v_{12}& \dots & v_{1m}\\ v_{21}& v_{22}& \dots & v_{2m}\\ ⋮& ⋮& & ⋮\\ v_{m1}& v_{m2}& \dots & v_{mm}\end{array}\right)\\ & =\left(\begin{array}{cccc}\sum _{i=1}^m{\lambda }_i{v}_{i1}{v}_{i1}& \sum _{i=1}^m{\lambda }_i{v}_{i1}{v}_{i2}& \dots & \sum _{i=1}^m{\lambda }_i{v}_{i1}{v}_{im}\\ \sum _{i=1}^m{\lambda }_i{v}_{i2}{v}_{i1}& \sum _{i=1}^m{\lambda }_i{v}_{i2}{v}_{i2}& \dots & \sum _{i=1}^m{\lambda }_i{v}_{i2}{v}_{im}\\ ⋮& ⋮& & ⋮\\ \sum _{i=1}^m{\lambda }_i{v}_{im}{v}_{i1}& \sum _{i=1}^m{\lambda }_i{v}_{im}{v}_{i2}& \dots & \sum _{i=1}^m{\lambda }_i{v}_{im}{v}_{im}\end{array}\right)\end{array}$$

因此

$$\begin{array}{rl}{K}_{ij}=K(x_i,x_j)& =\sum _{k=1}^m{\lambda }_k{v}_{ki}{v}_{kj}\\ & =\sum _{k=1}^m\sqrt{{\lambda }_k}{v}_{ki}\sqrt{{\lambda }_k}{v}_{kj}\\ & =\sum _{k=1}^m\left(\sqrt{{\lambda }_k}{v}_{ki}\right)\left(\sqrt{{\lambda }_k}{v}_{kj}\right)\\ & =(\begin{array}{cccc}\sqrt{{\lambda }_1}{v}_{1i}& \sqrt{{\lambda }_2}{v}_{2i}& \dots & \sqrt{{\lambda }_m}{v}_{mi}\end{array})\left(\begin{array}{c}\sqrt{{\lambda }_1}{v}_{1j}\\ \sqrt{{\lambda }_2}{v}_{2j}\\ ⋮\\ \sqrt{{\lambda }_m}{v}_{mj}\end{array}\right)\end{array}$$

令 $u_i=(\begin{array}{cccc}\sqrt{{\lambda }_1}{v}_{1i}& \sqrt{{\lambda }_2}{v}_{2i}& \dots & \sqrt{{\lambda }_m}{v}_{mi}\end{array}{)}^T$，则

$$\begin{array}{r}K(x_i,x_j)=u_i^T{u}_i\end{array}$$

令 $\varphi (x_i)=u_i$，$\varphi (x_j)=u_j$，则

$$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$

充分性证毕。

另外，观察充分性证明部分，$\varphi (\cdot )$ 为 $m$ 维向量，即与构成 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵所选取向量 $x\in \mathcal{X}$ 的个数有关。选取 $m$ 个向量构成 $m\times m$ 维 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵，因为输入空间 $\mathcal{X}$ 中的向量可以有无穷多个，所以当 $m$ 趋于无穷时， $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵趋于无穷阶，由 $\varphi (\cdot )$ 映射得到的特征空间也就是无穷维。

根据核函数的定义我们可以知道，核函数必然可以找到至少一个映射函数实现从输入空间映射到希尔伯特空间，根据核函数构造一个希尔伯特空间的具体步骤见附录。

构造新的核函数的一个强大⽅法是使⽤简单的核函数作为基本的模块来构造。可以使⽤下⾯的性质来完成这件事。假设 $K_1(x,z)$ 和 $K_2(x,z)$ 为合法核函数，那么下面的新核也是合法的

$$\begin{array}{rlrlrlrl}K(x,z)& =c{K}_1(x,z)& & & & & & (2\text{~}1)\\ K(x,z)& =f(x)K_1(x,z)f(z)& & & & & & (2\text{~}2)\\ K(x,z)& =q(K_1(x,z))& & & & & & (2\text{~}3)\\ K(x,z)& =\exp (K_1(x,z))& & & & & & (2\text{~}4)\\ K(x,z)& =K_1(x,z)+K_2(x,z)& & & & & & (2\text{~}5)\\ K(x,z)& =K_1(x,z)K_2(x,z)& & & & & & (2\text{~}6)\\ K(x,z)& =K_3(\varphi (x),\varphi (z))& & & & & & (2\text{~}7)\\ K(x,z)& =x^{T}Az& & & & & & (2\text{~}8)\\ K(x,z)& =K_a(x_a,z_a)+K_b(x_b,z_b)& & & & & & (2\text{~}9)\\ K(x,z)& =K_a(x_a,z_a)K_b(x_b,z_b)& & & & & & (2\text{~}10)\end{array}$$

其中，$c>0$ 是一个常数，$f(\cdot )$ 是任意函数，$q(\cdot )$ 是一个系数非负的多项式，$\varphi (x)$ 是一个从 $x$ 到 ${\mathbb{R}}^m$ 的映射函数，$K_3(\cdot ,\cdot )$ 是 ${\mathbb{R}}^m$ 中的一个合法核，$A$ 是一个对称半正定矩阵，$x_a$ 和 $x_b$ 是变量（未必互斥），且 $x=(x_a,x_b)$。$K_a$ 和 $K_b$ 是各自空间的合法核函数。

通过考虑式 $(1)$ 中的特征空间的恒等映射 $\varphi (x)=x$，可以得到核函数的一个最简单例子，此时 $K(x,z)=x^{T}z$，我们称之为线性核。 基于线性核，我们可以构造出一个经常使用的核函数
$$K(x,z)=\exp (-\frac{||x-z|{|}^2}{2{\sigma }^2})$$
这个被称为高斯核，亦称径向基函数核。但是注意，在现在的讨论中，它不表示概率密度，因此归⼀化系数被省略了。所谓径向基函数，它仅依赖于参数之间的距离（通常是欧氏距离）的大小，即 $K(x,z)=K(||x-z||)$。虽然它的名字包括基函数，但是我们不能将其完全理解为基函数 ${\varphi }_i$，可以认为是一种思想或者复合函数中的内函数。

之所以高斯核是个合法核，是因为高斯核函数本质上是通过 $(2\text{~}1)\sim (2\text{~}10)$ 中的公式对线性核进行组合构造而来的，理由如下。将平方项展开
$$||x-z|{|}^2=x^{T}x+z^{T}z-2x^{T}z$$
从而
$$K(x,z)=\exp (-\frac{x^{T}x}{2{\sigma }^2})\exp (\frac{x^{T}z}{{\sigma }^2})\exp (-\frac{z^{T}z}{2{\sigma }^2})$$
然后使⽤公式 $(2\text{~}2)$ 和公式 $(2\text{~}4)$，以及线性核的合法性，即可看到⾼斯核是⼀个合法的核。

下面列出了几种常用的核函数。

名称	表达式	参数
线性核	$K(x,z)=x^{T}z$
多项式核	$K(x,z)=(x^{T}z{)}^d$	$d\ge 1$ 为多项式的次数
高斯核	$K(x,z)=\mathrm{e}\mathrm{x}\mathrm{p}(-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2})$	$\sigma >0$ 为高斯核的带宽（width）
拉普拉斯核	$K(x,z)=\exp (-\frac{\Vert x-z\Vert }{\sigma })$	$\sigma >0$
Sigmoid 核	$K(x,z)=\tanh (\beta x^{T}z+\theta )$	$\tanh$ 为双曲正切函数，$\beta >0$，$\theta <0$

字符串核函数

核函数不仅可以定义在欧氏空间上，还可以定义在离散数据的集合上。比如，字符串核是定义在字符串集合上的核函数。字符串核函数在文本分类、信息检索、生物信息学等方面都有应用。

考虑一个有限字符表 $\Sigma$。字符串 $s$ 是从 $\Sigma$ 中取出的有限个字符的序列，包括空字符串。字符串 $s$ 的长度用 $|s|$ 表示，它的元素记作 $s(1)s(2)\dots s(|s|)$。两个字符串 $s$ 和 $t$ 的连接记为 $st$。所有长度为 $n$ 的字符串的集合记作 ${\Sigma }^n$，所有字符串的集合记作 ${\Sigma }^{\ast }=\bigcup _{n=0}^{\infty }{\Sigma }^n$。

考虑字符串 $s$ 的子串 $u$。给定一个指标序列 $i=(i_1,i_2,\dots ,i_{|u|})$，$1\le i_1<i_2<\cdots <i_{|u|}\le |s|$，$s$ 的子串定义为 $u=s(i)=s(i_1)s(i_2)\dots s(i_{|u|})$，其长度记作 $l(i)=i_{|u|}-i_1+1$。如果 $i$ 是连续的，则 $l(i)=|u|$；否则 $l(i)>|u|$。举个例子，假设 $s=\mathrm{a}\mathrm{b}\mathrm{c}\mathrm{d}\mathrm{e}\mathrm{f}$，分别取两个子串 $u=\mathrm{a}\mathrm{b}\mathrm{c}$ 和 $v=\mathrm{a}\mathrm{e}\mathrm{f}$，那么 $u$ 对应的指标序列为 $i_u=(1,2,3)$，$v$ 对应的指标序列为 $i_v=(1,5,6)$，$u$ 对应的长度 $l(i_u)=3-1+1=3$，$v$ 对应的长度 $l(i_v)=6-1+1=6$。

假设 $\mathcal{S}$ 是长度大于或等于 $n$ 的字符串的集合，$s$ 是 $\mathcal{S}$ 的元素。现在建立字符串集合 $\mathcal{S}$ 到特征空间 ${\mathcal{H}}_n={\mathbb{R}}^{{\Sigma }^n}$ 的映射 ${\varphi }_n(s)$。${\mathbb{R}}^{{\Sigma }^n}$ 表示定义在 ${\Sigma }^n$ 上的实数空间，其每一维对应一个字符串 $u\in {\Sigma }^n$，映射 ${\varphi }_n(s)$ 将字符串 $s$ 对应于空间 ${\mathbb{R}}^{{\Sigma }^n}$ 的一个向量，其在 $u$ 维上的取值为
$$[{\varphi }_n(s){]}_u=\sum _{i:s(i)=u}{\lambda }^{l(i)}$$
这里，$0\le \lambda \le 1$ 是一个衰减参数，$l(i)$ 表示字符串 $i$ 的长度，求和在 $s$ 中所有与 $u$ 相同的子串上进行。

例如，假设 $\Sigma$ 为英文字符集，$n$ 为 $3$，$\mathcal{S}$ 为长度大于或等于 $3$ 的字符串的集合。考虑将字符集 $\mathcal{S}$ 映射到特征空间 $H_3$。$H_3$ 的一维对应于字符串 $\mathrm{a}\mathrm{s}\mathrm{d}$。这时，字符串 “$\mathrm{N}\mathrm{a}\mathrm{s}\mathrm{d}\mathrm{a}\mathrm{q}$”与“$\mathrm{l}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{d}\mathrm{a}\mathrm{s}$”在这一维上的值分别是 $[{\varphi }_3(\mathrm{N}\mathrm{a}\mathrm{s}\mathrm{d}\mathrm{a}\mathrm{q}){]}_{\mathrm{a}\mathrm{s}\mathrm{d}}={\lambda }^3$ 和 $[{\varphi }_3(\mathrm{l}\mathrm{a}\mathrm{s}\mathrm{s}\square \mathrm{d}\mathrm{a}\mathrm{s}){]}_{asd}=2{\lambda }^5$（$\square$ 为空格）。在第一个字符串里，$\mathrm{a}\mathrm{s}\mathrm{d}$ 是连续的子串。在第二个字符串里，$\mathrm{a}\mathrm{s}\mathrm{d}$ 是长度为 $5$ 的不连续子串，共出现 $2$ 次。

两个字符串 $s$ 和 $t$ 上的字符串核函数是基于映射 ${\varphi }_n$ 的特征空间中的内积：
$$\begin{array}{rl}{K}_n(s,t)& =\sum _{u\in {\Sigma }^n}[{\varphi }_n(s){]}_u[{\varphi }_n(t){]}_u\\ & =\sum _{u\in {\Sigma }^n}\sum _{(i,j):s(i)=t(j)=u}{\lambda }^{l(i)}{\lambda }^{l(j)}\end{array}$$
字符串核函数 $K_n(s,t)$ 给出了字符串 $s$ 和 $t$ 中长度等于 $n$ 的所有子串组成的特征向量的余弦相似度（cosine similarity）。直观上，两个字符串相同的子串越多，它们就越相似，字符串核函数的值就越大。字符串核函数可以由动态规划快速计算。

附录

依据函数 $K(x,z)$ 构造一个希尔伯特空间的步骤是：首先定义映射 $\varphi$ 并构成向量空间 $\mathcal{S}$；然后在 $\mathcal{S}$ 上定义内积构成内积空间；最后将 $\mathcal{S}$ 完备化构成希尔伯特空间。

1. 定义映射，构成向量空间 $\mathcal{S}$

定义映射

$$\varphi :x\to K(\cdot ,x)\forall x\in \mathcal{X}$$

根据这一映射，对任意 $x_i\in \mathcal{X}$，${\alpha }_i\in \mathbb{R}$，$i=1,2,\dots ,m$，定义线性组合
$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\text{\hspace{1em}(3)}$$
所有的线性组合构成的集合 $\mathcal{S}$ ，由于 $\mathcal{S}$ 满足线性空间要求的八个公理，所以是一个线性空间。其中，线性空间最重要的特征就是对加法和数乘运算封闭。

2. 在 $\mathcal{S}$ 上定义内积，使其成为内积空间

在 $\mathcal{S}$ 上定义一个运算 $\ast$：对任意 $f,g\in \mathcal{S}$，
$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\text{\hspace{1em}(4)}$$

$$g(\cdot )=\sum _{j=1}^l{\beta }_{j}K(\cdot ,z_j)\text{\hspace{1em}(5)}$$

定义运算 $\ast$
$$f\ast g=\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{j}K(x_i,z_j)\text{\hspace{1em}(6)}$$
证明运算 $\ast$ 是空间 $\mathcal{S}$ 的内积。为此要证明其满足四条公理：

( 1 )      ( c f ) ∗ g = c ( f ∗ g ) , c ∈ R ( 7 ~ 1 ) ( 2 )      ( f + g ) ∗ h = f ∗ h + g ∗ h , h ∈ S ( 7 ~ 2 ) ( 3 )      f ∗ g = g ∗ f ( 7 ~ 3 ) ( 4 )      f ∗ f ≥ 0 , ( 7 ~ 4 )      f ∗ f = 0 ⇔ f = 0 ( 7 ~ 5 ) \begin{aligned} (1)\space\space\space\space&(cf)*g = c(f*g), & c\in \mathbb R &&&&&& {(7\text{\textasciitilde}1)} \\ (2)\space\space\space\space&(f+g)*h = f*h+g*h,& h\in \mathcal S &&&&&& {(7\text{\textasciitilde}2)} \\ (3)\space\space\space\space&f*g=g*f &&&&&&&{(7\text{\textasciitilde}3)} \\ (4)\space\space\space\space&f*f\ge 0, &&&&&&&{(7\text{\textasciitilde}4)} \\ \space\space\space\space& f*f = 0\Leftrightarrow f=0 &&&&&&& {(7\text{\textasciitilde}5)} \end{aligned} (1)    (2)    (3)    (4)        ​(cf)∗g=c(f∗g),(f+g)∗h=f∗h+g∗h,f∗g=g∗ff∗f≥0,f∗f=0⇔f=0​c∈Rh∈S​​​​​​(7~1)(7~2)(7~3)(7~4)(7~5)​

其中，$(1)\sim (3)$ 由式 $(3)\sim (5)$ 及 $K(x,z)$ 的对称性容易得到。现证 $(4)$ 之式 $(7\text{~}4)$。由式 $(3)$ 及式 $(6)$ 可得：
$$f\ast f=\sum _{i,j=1}^m{\alpha }_i{\beta }_{j}K(x_i,x_j)$$
由 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵的半正定性知上式右端非负，即 $f\ast f\ge 0$。

再证 $(4)$ 之式 $(7\text{~}5)$。其充分性，当 $f(\cdot )=0$ 时，可得
$$\sum _{i=1}^m{\alpha }_{i}K(x_i,x_j)=0\forall j=1,2,\dots ,m$$
将 $f\ast f$ 表示为
$$\sum _{j=1}^m{\alpha }_j(\sum _{i=1}^m{\alpha }_{i}K(x_i,x_j))=0$$
其中累加的每一项均为 $0$，于是 $f\ast f=0$。

必要性，首先我们注意到如下性质
$$K(\cdot ,x)\ast f=\sum _{i=1}^m{\alpha }_{i}K(x,x_i)=f(x)\forall x\in \mathcal{X}$$
运用柯西-施瓦茨不等式，有
$$f(x{)}^2=(K(\cdot ,x)\ast f{)}^2\le (K(\cdot ,x)\ast K(\cdot ,x))(f\ast f)=0$$
于是有 $f(x)=0$，再由 $x$ 的任意性可知 $f=0$。

至此，证明了 $\ast$ 为向量空间 $\mathcal{S}$ 中的内积。赋予内积的向量空间为内积空间，因此 $\mathcal{S}$ 是一个内积空间。

3. 将内积空间 $\mathcal{S}$ 完备化为希尔伯特空间

现将内积空间 $\mathcal{S}$ 完备化。由式 $(6)$ 定义的内积可以得到范数
$$||f||=\sqrt{f\ast f}$$
要说明其为范数，需要验证满足三条公理：正定性、正齐次性和次可加性（三角不等式）。其中正定性和正齐次性显然，仅简单验证次可加性：
$$\begin{array}{rl}||f+g|{|}^2& =(f+g)\ast (f+g)\\ & =(f\ast f)+2(f\ast g)+(g\ast g)\\ & =||f|{|}^2+2(f\ast g)+||g|{|}^2\\ & \le ||f|{|}^2+2\Vert f\Vert \Vert g\Vert +||g|{|}^2\\ & =(||f||+||g||{)}^2\end{array}$$
其中也运用了柯西-施瓦茨不等式。因此，$\mathcal{S}$ 是一个定义了范数的线性空间，即赋范向量空间。

根据泛函分析中的一个结论，对于不完备的赋范向量空间 $\mathcal{S}$，一定可以使之完备化，得到完备的赋范向量空间 $\mathcal{H}$。一个内积空间，当作为一个赋范向量空间是完备的时候，就是希尔伯特空间。这样，就得到了希尔伯特空间 $\mathcal{H}$。

这一希尔伯特空间 $\mathcal{H}$ 称为再生核希尔伯特空间（reproducing kernel Hilbert space，RKHS）。这是由于核 $K$ 具有再生性，即满足
$$K(\cdot ,x)\ast f=f(x)$$
取 $f=K(\cdot ,z)$，可得
$$K(\cdot ,x)\ast K(\cdot ,z)=K(x,z)$$
称为再生核。

至此，我们由满足半正定性的 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$ 矩阵对应的对称函数 $K$ 构造出了一个再生核希尔伯特空间。

REF

[1]《统计学习方法（第二版）》李航著

[2]《Pattern Recognition and Mechine Learning》

[3] 机器学习笔记之核方法(二)正定核函数的充要性证明 - CSDN博客

[4] 正定核 - 知乎