数据挖掘与分析课程笔记（Chapter 5）

数据挖掘与分析课程笔记

• 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.

文章目录

0. 数据挖掘与分析课程笔记（目录）
1. 数据挖掘与分析课程笔记（Chapter 1）
2. 数据挖掘与分析课程笔记（Chapter 2）
3. 数据挖掘与分析课程笔记（Chapter 5）
4. 数据挖掘与分析课程笔记（Chapter 7）
5. 数据挖掘与分析课程笔记（Chapter 14）
6. 数据挖掘与分析课程笔记（Chapter 15）
7. 数据挖掘与分析课程笔记（Chapter 20）
8. 数据挖掘与分析课程笔记（Chapter 21）

---

---

Chapter 5 Kernel Method：核方法

Example 5.1 略，$\varphi (核映射):{\Sigma }^{\ast }(输入空间)\to {\mathbb{R}}^4(特征空间)$

Def.1. 假设核映射 $\varphi :\mathcal{I}\to \mathcal{F}$，$\varphi$ 的核函数是指 $K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$ 使得 $\forall ({\mathbf{x}}_i,{\mathbf{x}}_j)\in \mathcal{I}\times \mathcal{I},K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)$

Example 5.2 设 $\varphi :{\mathbb{R}}^2\to {\mathbb{R}}^3$ 使得 $\forall \mathbf{a}=(a_1，a_2),\varphi (\mathbf{a})=(a_1^2,a_2^2,\sqrt{2}{a}_1{a}_2{)}^T$

注意到 $K(\mathbf{a},\mathbf{b})=\varphi (\mathbf{a}{)}^T\varphi (\mathbf{b})=a_1^2{b}_1^2+a_2^2{b}_2^2+2a_1^2{a}_2^2{b}_1^2{b}_2^2$，$K:{\mathbb{R}}^2\times {\mathbb{R}}^2\to \mathbb{R}$

Remark：

1. 分析复杂数据
2. 分析非线性特征（知乎搜核函数有什么作用）

Goal：在未知 $\varphi$ 的情况下，通过分析 $K$ 来分析特征空间 $\mathcal{F}$ 结果。

5.1 核矩阵

设 $\mathbf{D}=\left\{{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n\right\}\subset \mathcal{I}$，其核矩阵定义为：$\mathbf{K}=[K({\mathbf{x}}_i,{\mathbf{x}}_j){]}_{n\times n}$

Prop. 核矩阵 $\mathbf{K}$ 是对称的且半正定的

Proof. $K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_j)\varphi ({\mathbf{x}}_i)=K({\mathbf{x}}_j,{\mathbf{x}}_i)$，故对称。

对于 $\forall {\mathbf{a}}^T\in {\mathbb{R}}^n$，
$$\begin{array}{rl}{\mathbf{a}}^T\mathbf{Ka}& =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ & =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & ={\left(\sum _{i=1}^n{a}_i\varphi \left({\mathbf{x}}_i\right)\right)}^T\left(\sum _{j=1}^n{a}_j\varphi \left({\mathbf{x}}_j\right)\right)\\ & ={\Vert \sum _{i=1}^n{a}_i\varphi \left({\mathbf{x}}_i\right)\Vert }^2\ge 0\end{array}$$

5.1.1 核映射的重构

”经验核映射“

已知 $\mathbf{D}={\left\{{\mathbf{x}}_i\right\}}_{i=1}^n\subset \mathcal{I}$ 与核矩阵 $\mathbf{K}$

目标：寻找 $\varphi :\mathcal{I}\to \mathcal{F}\subset {\mathbb{R}}^n$

首先尝试：$\forall \mathbf{x}\in \mathcal{I},\varphi (\mathbf{x})={\left(K\left({\mathbf{x}}_1,\mathbf{x}\right),K\left({\mathbf{x}}_2,\mathbf{x}\right),\dots ,K\left({\mathbf{x}}_n,\mathbf{x}\right)\right)}^T\in {\mathbb{R}}^n$

检查：${\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)?=K({\mathbf{x}}_i,{\mathbf{x}}_j)$

左边 $=\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)=\sum _{k=1}^{n}K\left({\mathbf{x}}_k,{\mathbf{x}}_i\right)K\left({\mathbf{x}}_k,{\mathbf{x}}_j\right)={\mathbf{K}}_i^T{\mathbf{K}}_j$，${\mathbf{K}}_i$ 代表第 $i$ 行或列要求太高。

考虑改进：寻找矩阵 $\mathbf{A}$ 使得，${\mathbf{K}}_i^T\mathbf{A}{\mathbf{K}}_j=\mathbf{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，即 ${\mathbf{K}}^T\mathbf{AK}=\mathbf{K}$

故只需取 $\mathbf{A}={\mathbf{K}}^{-1}$ 即可（ $\mathbf{K}$ 可逆）

若 $\mathbf{K}$ 正定，${\mathbf{K}}^{-1}$ 也正定，即存在一个实矩阵 $\mathbf{B}$ 满足 ${\mathbf{K}}^{-1}={\mathbf{B}}^T\mathbf{B}$

故经验核函数可定义为：
$$\varphi (\mathbf{x})=\mathbf{B}\cdot {\left(K\left({\mathbf{x}}_1,\mathbf{x}\right),K\left({\mathbf{x}}_2,\mathbf{x}\right),\dots ,K\left({\mathbf{x}}_n,\mathbf{x}\right)\right)}^T$$
检查：${\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)=(\mathbf{B}{\mathbf{K}}_i{)}^T(\mathbf{B}{\mathbf{K}}_j)={\mathbf{K}}_i^T{\mathbf{K}}^{-1}{\mathbf{K}}_j=({\mathbf{K}}^T{\mathbf{K}}^{-1}\mathbf{K}{)}_{i,j}=K({\mathbf{x}}_i,{\mathbf{x}}_j)$

5.1.2 特定数据的海塞核映射

对于对称半正定矩阵 ${\mathbf{K}}_{n\times n}$，存在分解
$$\mathbf{K}=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right){\mathbf{U}}^T=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T$$
${\lambda }_i$ 为特征值，$\mathbf{U}=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\\ \mid & \mid & & \mid \end{array}\right)$ 为单位正交矩阵，${\mathbf{u}}_i={\left(u_{i1},u_{i2},\dots ,u_{in}\right)}^T\in {\mathbb{R}}^n$ 为特征向量，即
$$\begin{gathered} \mathbf{K}={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T \\ \begin{array}{rl}\mathbf{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& ={\lambda }_1{u}_{1i}{u}_{1j}+{\lambda }_2{u}_{2i}{u}_{2j}\cdots +{\lambda }_n{u}_{ni}{u}_{nj}\\ & =\sum _{k=1}^n{\lambda }_k{u}_{ki}{u}_{kj}\end{array} \end{gathered}$$
定义海塞映射：
$$\forall {\mathbf{x}}_i\in \mathbf{D},\varphi \left({\mathbf{x}}_i\right)={\left(\sqrt{{\lambda }_1}{u}_{1i},\sqrt{{\lambda }_2}{u}_{2i},\dots ,\sqrt{{\lambda }_n}{u}_{ni}\right)}^T$$
检查：
$$\begin{array}{rl}\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)& =\left(\sqrt{{\lambda }_1}{u}_{1i},\dots ,\sqrt{{\lambda }_n}{u}_{ni}\right){\left(\sqrt{{\lambda }_1}{u}_{1j},\dots ,\sqrt{{\lambda }_n}{u}_{nj}\right)}^T\\ & ={\lambda }_1{u}_{1i}{u}_{1j}+\cdots +{\lambda }_n{u}_{ni}{u}_{nj}=K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$
注意：海塞映射中仅对 $\mathbf{D}$ 中的数 ${\mathbf{x}}_i$ 有定义。

5.2 向量核函数

${\mathbb{R}}^d\times {\mathbb{R}}^d\to \mathbb{R}$

典型向量核函数：多项式核

$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^d,K_q(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{y})={\left({\mathbf{x}}^T\mathbf{y}+c\right)}^q$，其中 $c\ge 0$

若 $c=0$，齐次，否则为非齐次。

问题：构造核映射 $\varphi :{\mathbb{R}}^d\to \mathcal{F}$，使得 $K_q(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{y})$

注：$q=1,c=0,\varphi (\mathbf{x})=\mathbf{x}$

示例：$q=2,d=2$

高斯核自读

5.3 特征空间中基本核运算

$\varphi :\mathcal{I}\to \mathcal{F},K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$

• 向量长度：$\Vert \varphi (\mathbf{x}){\Vert }^2=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{x})=K(\mathbf{x},\mathbf{x})$

• 距离：
  $$\begin{array}{rl}{\Vert \varphi \left({\mathbf{x}}_i\right)-\varphi \left({\mathbf{x}}_j\right)\Vert }^2& ={\Vert \varphi \left({\mathbf{x}}_i\right)\Vert }^2+{\Vert \varphi \left({\mathbf{x}}_j\right)\Vert }^2-2\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)+K\left({\mathbf{x}}_j,{\mathbf{x}}_j\right)-2K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

$2K\left(\mathbf{x},\mathbf{y}\right)={\Vert \varphi \left(\mathbf{x}\right)\Vert }^2+{\Vert \varphi \left(\mathbf{y}\right)\Vert }^2-{\Vert \varphi \left(\mathbf{x}\right)-\varphi \left(\mathbf{y}\right)\Vert }^2$

代表 $\varphi \left(\mathbf{x}\right)$ 与 $\varphi \left(\mathbf{y}\right)$ 的相似度

• 平均值：${\mathbf{\mu }}_{\varphi }=\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)$
  $$\begin{array}{rl}{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2& ={\mathbf{\mu }}_{\varphi }^T{\mathbf{\mu }}_{\varphi }\\ & ={\left(\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)\right)}^T\left(\frac{1}{n}\sum _{j=1}^n\varphi \left({\mathbf{x}}_j\right)\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

• 总方差：${\sigma }_{\varphi }^2=\frac{1}{n}\sum _{i=1}^n{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2$，$\forall {\mathbf{x}}_i$
  $$\begin{array}{rl}{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2& ={\Vert \varphi \left({\mathbf{x}}_i\right)\Vert }^2-2\varphi {\left({\mathbf{x}}_i\right)}^T{\mathbf{\mu }}_{\varphi }+{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n}\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\end{array}$$

  $$\begin{array}{rl}{\sigma }_{\varphi }^2& =\frac{1}{n}\sum _{i=1}^n{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n\left(K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n}\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\right)\\ & =\frac{1}{n}\sum _{i=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\\ & =\frac{1}{n}\sum _{i=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

  $\frac{1}{n}\sum _{i=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)$ 是 $\mathbf{K}$ 对角线平均值，$\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$ 是 $\mathbf{K}$ 所有元的平均值。

• 中心化核矩阵：令 $\hat{\varphi }\left({\mathbf{x}}_i\right)=\varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }$

  中心核函数 $\hat{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\hat{\varphi }{\left({\mathbf{x}}_i\right)}^T\hat{\varphi }\left({\mathbf{x}}_j\right)$
  $$\begin{array}{rl}\hat{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& ={\left(\varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\right)}^T\left(\varphi \left({\mathbf{x}}_j\right)-{\mathbf{\mu }}_{\varphi }\right)\\ & =\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)-\varphi {\left({\mathbf{x}}_i\right)}^T{\mathbf{\mu }}_{\varphi }-\varphi {\left({\mathbf{x}}_j\right)}^T{\mathbf{\mu }}_{\varphi }+{\mathbf{\mu }}_{\varphi }^T{\mathbf{\mu }}_{\varphi }\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-\frac{1}{n}\sum _{k=1}^n\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_k\right)-\frac{1}{n}\sum _{k=1}^n\varphi {\left({\mathbf{x}}_j\right)}^T\varphi \left({\mathbf{x}}_k\right)+{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-\frac{1}{n}\sum _{k=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_k\right)-\frac{1}{n}\sum _{k=1}^{n}K\left({\mathbf{x}}_j,{\mathbf{x}}_k\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\end{array}$$
  故
  $$\begin{array}{rl}\hat{\mathbf{K}}& =\mathbf{K}-\frac{1}{n}{1}_{n\times n}\mathbf{K}-\frac{1}{n}\mathbf{K}{1}_{n\times n}+\frac{1}{n^2}{1}_{n\times n}\mathbf{K}{1}_{n\times n}\\ & =\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)\mathbf{K}\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)\end{array}$$
  注意：$1_{n\times n}$ 为全1矩阵，左乘之后每个元素为之前所在列的列和，右乘之和每个元素为之前所在行的行和，左右都乘之后每个元素即为原来所以元素之后。

• 归一化核矩阵

  ${\mathbf{K}}_n\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\frac{\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)}{\Vert \varphi \left({\mathbf{x}}_i\right)\Vert \cdot \Vert \varphi \left({\mathbf{x}}_j\right)\Vert }=\frac{K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)}{\sqrt{K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)\cdot K\left({\mathbf{x}}_j,{\mathbf{x}}_j\right)}}$

  令 $\mathbf{W}=\mathrm{diag}(\mathbf{K})=\left(\begin{array}{cccc}K\left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& 0& \cdots & 0\\ 0& K\left({\mathbf{x}}_2,{\mathbf{x}}_2\right)& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & K\left({\mathbf{x}}_n,{\mathbf{x}}_n\right)\end{array}\right)$，则 ${\mathbf{W}}^{-1/2}\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)=\frac{1}{\sqrt{K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)}}$，

  ${\mathbf{K}}_n={\mathbf{W}}^{-1/2}\cdot \mathbf{K}\cdot {\mathbf{W}}^{-1/2}$

  矩阵左乘右乘对角阵的性质。

5.4 复杂对象的核

5.4.1 字串的谱核

考虑字符集 $\Sigma$ （有限），定义 $l$-谱特征映射：
$${\varphi }_l:{\Sigma }^{\ast }\to {\mathbb{R}}^{|\Sigma {|}^l},\forall \mathbf{x}\in {\Sigma }^{\ast },{\varphi }_l(\mathbf{x})={\left(\cdots ,\#(\alpha ),\cdots \right)}^T$$
其中 $\#(\alpha )$ 代表长度为 $l$ 的子字串在 $\mathbf{x}$ 中出现的次数。

$l$-谱核函数：${\mathbf{K}}_l:{\Sigma }^{\ast }\times {\Sigma }^{\ast }\to \mathbb{R}$，${\mathbf{K}}_l(\mathbf{x},\mathbf{y})={\varphi }_l(\mathbf{x}{)}^T{\varphi }_l(\mathbf{y})$

谱核函数：计算 $l=0$ 到 $l=\infty$

5.4.2 图顶点的扩散核

• 图：图 $G=(V,E)$ 是指一个集合对，其中 $V=\{v_1,\cdots ,v_n\}$ 为顶点集，$E=\{(v_i,v_j)\}$ 为边集。现只考虑无向简单（没有自己到自己的边）图。

• 邻接矩阵：图的邻接矩阵 $A(G):=[A_{ij}{]}_{n\times n}$，其中 $A_{ij}=\{\begin{array}{c}1,(v_i,v_j)\in E\\ 0,(v_i,v_j)\notin E\end{array}$

• 度矩阵：$\Delta (G):=diag(d_1,\cdots ,d_n)$，其中 $d_i$ 代表顶点 $v_i$ 的度，即与 $v_i$ 相连的边的数目。

• 拉普拉斯矩阵：$L(G):=A(G)-\Delta (G)$

  负拉普拉斯矩阵：$L(G):=-L(G)$

  它们是实对称

常用图的对称相似性矩阵 $\mathbf{S}$ 是指 $A(G)$，$L(G)$ 或 $-L(G)$。

问题：如何定义图顶点的核函数？（ $\mathbf{S}$ 并不一定是半正定）

- 幂核函数

以 ${\mathbf{S}}^t$ 作为核矩阵， $\mathbf{S}$ 是对称的，$t$ 为正整数

考虑 ${\mathbf{S}}^2$：${\mathbf{S}}^2(x_i,x_j)=\sum _{k=1}^n{S}_{ik}{S}_{kj}$

此公式说明 ${\mathbf{S}}^2$ ( ${\mathbf{S}}^l$) 的几何意义：顶点间长度为 $2$ $(l)$ 的路径，描述顶点的相似性。

考虑 ${\mathbf{S}}^l$ 的特征值：设 $\mathbf{S}$ 的特征值为 ${\lambda }_1,\cdots ,{\lambda }_n\in \mathbb{R}$，则
$$\mathbf{S}=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right){\mathbf{U}}^T=\sum _{i=1}^n{\lambda }_i{\mathbf{u}}_i{\mathbf{u}}_i^T$$
其中 $\mathbf{U}$ 是以相应特征向量为列的正交矩阵，$\mathbf{U}=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\\ \mid & \mid & & \mid \end{array}\right)$
$${\mathbf{S}}^l=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1^l& 0& \cdots & 0\\ 0& {\lambda }_2^l& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n^l\end{array}\right){\mathbf{U}}^T$$
${\lambda }_1^l,\cdots ,{\lambda }_n^l$ 是 ${\mathbf{S}}^l$ 的特征值。

故若 $l$ 是偶数，${\mathbf{S}}^l$ 半正定。

- 指数扩散核函数

以 $\mathbf{K}:=e^{\beta \mathbf{S}}$ 为核矩阵，其中 $\beta >0$ 为阻尼系数。（泰勒展开：$e^{\beta x}=\sum _{l=0}^{\infty }\frac{1}{l!}{\beta }^l{x}^l$）
$$\begin{array}{rl}{e}^{\beta \mathbf{S}}& =\sum _{l=0}^{\infty }\frac{1}{l!}{\beta }^{\prime }{\mathbf{S}}^l\\ & =\mathbf{I}+\beta \mathbf{S}+\frac{1}{2!}{\beta }^2{\mathbf{S}}^2+\frac{1}{3!}{\beta }^3{\mathbf{S}}^3+\cdots \\ & =\left(\sum _{i=1}^n{\mathbf{u}}_i{\mathbf{u}}_i^T\right)+\left(\sum _{i=1}^n{\mathbf{u}}_i\beta {\lambda }_i{\mathbf{u}}_i^T\right)+\left(\sum _{i=1}^n{\mathbf{u}}_i\frac{1}{2!}{\beta }^2{\lambda }_i^2{\mathbf{u}}_i^T\right)+\cdots \\ & =\sum _{i=1}^n{\mathbf{u}}_i\left(1+\beta {\lambda }_i+\frac{1}{2!}{\beta }^2{\lambda }_i^2+\cdots \right){\mathbf{u}}_i^T\\ & =\sum _{i=1}^n{\mathbf{u}}_i{e}^{\beta {\lambda }_i}{\mathbf{u}}_i^T\\ & =\mathbf{U}\left(\begin{array}{cccc}{e}^{\beta {\lambda }_1}& 0& \cdots & 0\\ 0& e^{\beta {\lambda }_2}& \cdots & 0\\ ⋮& ⋮& \ddots & 0\\ 0& 0& \cdots & e^{\beta {\lambda }_n}\end{array}\right){\mathbf{U}}^T\end{array}$$
故 $\mathbf{K}$ 的特征值 $e^{\beta {\lambda }_1},\cdots ,e^{\beta {\lambda }_n}$ 完全非负， $\mathbf{K}$ 为半正定。

- 纽因曼扩散核函数

以 $\mathbf{K}=\sum _{l=0}^{\infty }{\beta }^l{\mathbf{S}}^l$ 为核矩阵，注意到
$$\begin{array}{rl}\mathbf{K}& =\mathbf{I}+\beta \mathbf{S}+{\beta }^2{\mathbf{S}}^2+{\beta }^3{\mathbf{S}}^3+\cdots \\ & =\mathbf{I}+\beta \mathbf{S}\left(\mathbf{I}+\beta \mathbf{S}+{\beta }^2{\mathbf{S}}^2+\cdots \right)\\ & =\mathbf{I}+\beta \mathbf{SK}\end{array}$$
故
$$\begin{array}{rl}\mathbf{K}-\beta \mathbf{SK}& =\mathbf{I}\\ (\mathbf{I}-\beta \mathbf{S})\mathbf{K}& =\mathbf{I}\\ \mathbf{K}& =(\mathbf{I}-\beta \mathbf{S}{)}^{-1}\end{array}$$
在 $\mathbf{I}-\beta \mathbf{S}$ 可逆的前提下
$$\begin{array}{rl}\mathbf{K}& ={\left(\mathbf{U}{\mathbf{U}}^T-\mathbf{U}(\beta \mathbf{\Lambda }){\mathbf{U}}^T\right)}^{-1}\\ & ={\left(\mathbf{U}(\mathbf{I}-\beta \mathbf{\Lambda }){\mathbf{U}}^T\right)}^{-1}\\ & =\mathbf{U}(\mathbf{I}-\beta \mathbf{\Lambda }{)}^{-1}{\mathbf{U}}^T\\ & =\mathbf{U}\left(\begin{array}{cccc}\frac{1}{1-\beta {\lambda }_1}& 0& \cdots & 0\\ 0& \frac{1}{1-\beta {\lambda }_2}& \cdots & 0\\ ⋮& ⋮& \ddots & 0\\ 0& 0& \cdots & \frac{1}{1-\beta {\lambda }_n}\end{array}\right){\mathbf{U}}^T\end{array}$$
要想其半正定，故有：
$$\begin{array}{rl}{\left(1-\beta {\lambda }_i\right)}^{-1}& \ge 0\\ 1-\beta {\lambda }_i& \ge 0\\ \beta {\lambda }_i& \le 1\end{array}$$

---