数据挖掘与分析课程笔记

数据挖掘与分析课程笔记

• 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.

---

---

Chapter 1 ：准备

1.1 数据矩阵

Def.1. 数据矩阵是指一个 $(n\times d)$ 的矩阵
$$\mathbf{D}=\left(\begin{array}{ccccc}& X_1& X_2& \cdots & X_d\\ {\mathbf{x}}_1& x_{11}& x_{12}& \cdots & x_{1d}\\ {\mathbf{x}}_2& x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n& x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right)$$
行：实体，列：属性

Ex. 鸢尾花数据矩阵
$$\left(\begin{array}{cccccc}& 萼片长& 萼片宽& 花瓣长& 花瓣宽& 类别\\ & X_1& X_2& X_3& X_4& X_5\\ {\mathbf{x}}_1& 5.9& 3.0& 4.2& 1.5& 云芝\end{array}\right)$$

1.2 属性

Def.2.

• 数值属性 是指取实数值（或整数值）的属性。
• 若数值属性的取值范围是有限集或无限可数集，则称之为离散数值属性。若只有两种取值，则称为二元属性。
• 若数值属性的取值范围不是离散的则称为连续数值属性。

Def.3. 类别属性 是指取值为符号的属性。

1.3 代数与几何的角度

假设 $\mathbf{D}$ 中所有属性均为数值的，即
$${\mathbf{x}}_i={\left(x_{i1},x_{i2},\dots ,x_{id}\right)}^T\in {\mathbb{R}}^d,i=1,\cdots ,n$$
或
$${\mathbf{x}}_j={\left(x_{1j},x_{2j},\dots ,x_{nj}\right)}^T\in {\mathbb{R}}^n,j=1,\cdots ,d$$
☆ 默认向量为列向量。

1.3.1 距离与角度

设 $\mathbf{a},\mathbf{b}\in {\mathbb{R}}^d$ ，

• 点乘：${\mathbf{a}}^T\mathbf{b}=\sum _{i=1}^d{a}_i{b}_i$
• 长度（欧氏范数）：$\left|\mathbf{a}\right|=\sqrt{{\mathbf{a}}^T\mathbf{a}}=\sqrt{\sum _{i=1}^d{a}_i^2}$，单位化：$\frac{\mathbf{a}}{|\mathbf{a}|}$
• 距离：$\delta (\mathbf{a},\mathbf{b})=||\mathbf{a}-\mathbf{b}||=\sqrt{\sum _{i=1}^d(a_i-b_i{)}^2}$
• 角度：$cos\theta =(\frac{\mathbf{a}}{|\mathbf{a}|}{)}^T(\frac{\mathbf{b}}{|\mathbf{b}|})$，即单位化后作点乘
• 正交：$\mathbf{a}$ 与 $\mathbf{b}$ 正交，若 ${\mathbf{a}}^T\mathbf{b}=0$

1.3.2 算术平均与总方差

Def.3.

• 算术平均：$mean(\mathbf{D})=\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i,\in {\mathbb{R}}^d$

• 总方差：$var(\mathbf{D})=\frac{1}{n}\sum _{i=1}^n\delta {\left({\mathbf{x}}_i,\hat{\mathbf{\mu }}\right)}^2$

  自行验证：$var(\mathbf{D})=\frac{1}{n}\sum _{i=1}^n||{\mathbf{x}}_i-\hat{\mathbf{\mu }}|{|}^2=\frac{1}{n}\sum _{i=1}^n||{\mathbf{x}}_i|{|}^2-||\hat{\mathbf{\mu }}|{|}^2$

• 中心数据矩阵：$center(\mathbf{D})=\left(\begin{array}{c}{\mathbf{x}}_1^T-{\hat{\mathbf{\mu }}}^T\\ ⋮\\ {\mathbf{x}}_n^T-{\hat{\mathbf{\mu }}}^T\end{array}\right)$

  显然 $center(\mathbf{D})$ 的算术平均为 $0\in {\mathbb{R}}^d$

1.3.3 正交投影

Def.4. $\mathbf{a},\mathbf{b}\in {\mathbb{R}}^d$，向量 $\mathbf{b}$ 沿向量 $\mathbf{a}$ 方向的正交分解是指，将 $\mathbf{b}$ 写成：$\mathbf{b}=\mathbf{p}+\mathbf{r}$。其中，$\mathbf{p}$ 是指 $\mathbf{b}$ 在 $\mathbf{a}$ 方向上的正交投影，$\mathbf{r}$ 是指 $\mathbf{a}$ 与 $\mathbf{b}$ 之间的垂直距离。

$\mathbf{a}\ne 0,\mathbf{b}\ne 0$

设 $\mathbf{p}=c\cdot \mathbf{a},(c\ne 0,c\in \mathbb{R})$ 则 $\mathbf{r}=\mathbf{b}-\mathbf{p}=\mathbf{b}-c\mathbf{a}$

$0={\mathbf{p}}^T\mathbf{r}=(c\cdot \mathbf{a}{)}^T(\mathbf{b}-c\mathbf{a})=c\cdot ({\mathbf{a}}^T\mathbf{b}-c\cdot {\mathbf{a}}^T\mathbf{a})$

$c=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}},\mathbf{p}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\cdot \mathbf{a}$

1.3.4 线性相关性与维数

皆与线性代数相同，自读。

1.4 概率观点

每一个数值属性 $X$ 被视为一个随机变量，即 $X:\mathcal{O}\to \mathbb{R}$，

其中，$\mathcal{O}$ 表示 $X$ 的定义域，即所有实验可能输出的集合，即样本空间。$\mathbb{R}$ ：$X$ 的值域，全体实数。

☆ 注：

• 随机变量是一个函数。
• 若 $\mathcal{O}$ 本身是数值的（即 $\mathcal{O}\subseteq \mathbb{R}$，那么 $X$ 是恒等函数，即 $X(v)=v$
• 若 $X$ 的函数取值范围为有限集或无限可数集，则称之为离散随机变量，反之，为连续随机变量

Def.5. 若 $X$ 是离散的，那么 $X$ 的概率质量函数（probability mass function, PMF）为：
$$\forall x\in \mathbb{R},f(x)=P(X=x)$$
注：$f(x)\ge 0,\sum _{x}f(x)=1$；$f(x)=0$，如果 $x\notin$ ($x$ 的值域)。

Def.6. 若 $X$ 是连续的，那么 $X$ 的概率密度函数（probability density function, PDF）为：
$$P(X\in [a,b])={\int }_a^{b}f(x)dx$$
注：$f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x)=1$

Def.7. 对任意随机变量 $X$ ，定义累积分布函数（cumulative distributution function, CDF）
$$F:\mathbb{R}\to [0,1],\forall x\in \mathbb{R},F(x)=P(X\le x)$$
若 $X$ 是离散的，$F(x)=\sum _{u\le x}f(u)$

若 $X$ 是连续的，$F(x)={\int }_{-\infty }^{x}f(u)du$

1.4.1 二元随机变量

$\mathbf{X}=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right),\mathbf{X}:\mathcal{O}\to {\mathbb{R}}^2$ 此处 $X_1$，$X_2$ 分别是两个随机变量。

上课时略去了很多概念，补上。

Def.8. 若 $X_1$ 和 $X_2$ 都是离散，那么 $\mathbf{X}$ 的联合概率质量函数被定义为：
$$f(\mathbf{x})=f(x_1,x_2)=P(X_1=x_1,X_2=x_2)=P(\mathbf{X}=\mathbf{x})$$
注：$f(x)\ge 0,\sum _{x_1}\sum _{x_2}f(x_1,x_2)=1$

Def.9. 若 $X_1$ 和 $X_2$ 都是连续，那么 $\mathbf{X}$ 的联合概率密度函数被定义为：
$$P(\mathbf{X}\in W)=\underset{\mathbf{x}\in W}{\iint }f(\mathbf{x})d\mathbf{x}=\underset{{\left(x_1,x_2\right)}_{\in }^{T}W}{\iint }f\left(x_1,x_2\right)d{x}_{1}d{x}_2$$
其中，$W\subset {\mathbb{R}}^2$，$f(\mathbf{x})\ge 0,\underset{\mathbf{x}\in {\mathbb{R}}^2}{\iint }f(\mathbf{x})d\mathbf{x}=1$

Def.10. $\mathbf{X}$ 的联合累积分布函数 $F$
$$F(x_1,x_2)=P(X_1\le x_1\text{ and }{X}_2\le x_2)=P(\mathbf{X}\le \mathbf{x})$$
Def.11. $X_1$ 和 $X_2$ 是独立的，如果 $\forall W_1\subset \mathbb{R}$ 及 $\forall W_2\subset \mathbb{R}$
$$P(X_1\in W_1\text{ and }{X}_2\in W_2)=P(X_1\in W_1)\cdot (X_2\in W_2)$$
Prop. 如果 $X_1$ 和 $X_2$ 是独立的，那么
$$\begin{gathered} F(x_1,x_2)=F_1(x_1)\cdot F_2(x_2) \\ f(x_1,x_2)=f_1(x_1)\cdot f_2(x_2) \end{gathered}$$
其中 $F_i$ 是 $X_i$ 的累积分布函数，$f_i$ 是 $x_i$ 的 PMF 或 PDF。

1.4.2 多元随机变量

平行推广1.4.1节中的各定义即可。

1.4.3 随机样本与统计量

Def.12. 给定随机变量 $X$ ，来源于 $X$ 的长度为 $n$ 的随机样本是指 $n$ 个独立的且同分布（均与 $X$ 具有同样的 PMF 或 PDF）的随机变量 $S_1,S_2,\cdots ,S_n$。

Def.13. 统计量 $\hat{\theta }$ 被定义为关于随机样本的函数 $\hat{\theta }:(S_1,S_2,\cdots ,S_n)\to \mathbb{R}$

注： $\hat{\theta }$ 本身也是随机变量

Chapter 2：数值属性

关注代数、几何与统计观点。

2.1 一元分析

仅关注一项属性，$\mathbf{D}=\left(\begin{array}{c}X\\ x_1\\ x_2\\ ⋮\\ x_n\end{array}\right),x_i\in \mathbb{R}$

统计： $X$ 可视为（高维）随机变量，$x_i$ 均是恒等随机变量，$x_1,\cdots ,x_n$ 也看作源于 $X$ 的长度为 $n$ 的随机样本。

Def.1. 经验积累分布函数

Def.2. 反积累分布函数

Def.3. 随机变量 $X$ 的经验概率质量函数是指
$$\begin{gathered} \hat{f}(x)=\frac{1}{n}\sum _{i=1}^{n}I\left(x_i=x\right),\forall x_i\in \mathbb{R} \\ I\left(x_i=x\right)=\{\begin{array}{c}1,x_i=x\\ 0,x_i\ne x\end{array} \end{gathered}$$

2.1.1 集中趋势量数

Def.4. 离散随机变量 $X$ 的期望是指：$\mu :=E(X)=\sum _{x}xf(x)$，$f(x)$ 是 $X$ 的PMF

连续随机变量 $X$ 的期望是指：$\mu :=E(X)=\underset{-\infty }{\overset{+\infty }{\int }}xf(x)dx$，$f(x)$ 是 $X$ 的PDF

注：$E(aX+bY)=aE(X)+bE(Y)$

Def.5. $X$ 的样本平均值是指 $\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$，注 $\hat{\mu }$ 是 $\mu$ 的估计量

Def.6. 一个估计量（统计量）$\hat{\theta }$ 被称作统计量 $\theta$ 的无偏估计，如果 $E(\hat{\theta })=\theta$

自证：样本平均值 $\hat{\mu }$ 是期望 $\mu$ 的无偏估计量，$E(x_i)=\mu \text{ for all }{x}_i$

Def.7. 一个估计量是稳健的，如果它不会被样本中的极值影响。（样本平均值并不是稳健的。）

Def.8. 随机变量 $X$ 的中位数

Def.9. 随机变量 $X$ 的样本中位数

Def.10. 随机变量 $X$ 的众数， 随机变量 $X$ 的样本众数

2.2.2 离差量数

Def.11. 随机变量 $X$ 的极差与样本极差

Def.12. 随机变量 $X$ 的四分位距，样本的四分位距

Def.13. 随机变量 $X$ 的方差是
$${\sigma }^2=\mathrm{var}(X)=E\left[(X-\mu {)}^2\right]=\{\begin{array}{ll}{\sum }_x(x-\mu {)}^{2}f(x)& \text{ if }X\text{ is discrete }\\ & \\ {\int }_{-\infty }^{\infty }(x-\mu {)}^{2}f(x)dx& \text{ if }X\text{ is continuous }\end{array}$$

标准差 $\sigma$ 是指 ${\sigma }^2$ 的正的平方根。

注：方差是关于期望的第二阶动差，$r$ 阶动差是指 $E[(x-\mu {)}^r]$。

性质：

1. ${\sigma }^2=E(X^2)-{\mu }^2=E(X^2)-[E(X){]}^2$
2. $var(X_1+X_2)=var(X_1)+var(X_2)$，$X_1,X_2$ 独立

Def.14. 样本方差是 ${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\hat{\mu }\right)}^2$，底下非 $n-1$

样本方差的几何意义：考虑中心化数据矩阵
$$\begin{gathered} C:=\left(\begin{array}{c}{x}_1-\hat{\mu }\\ x_2-\hat{\mu }\\ ⋮\\ x_n-\hat{\mu }\end{array}\right) \\ n\cdot {\hat{\sigma }}^2=\sum _{i=1}^n{\left(x_i-\hat{\mu }\right)}^2=||C|{|}^2 \end{gathered}$$
问题：$X$ 的样本平均数的期望与方差？
$$E(\hat{\mu })=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$
方差有两种方法：第一种直接展开，第二种：运用 $x_1,\cdots ,x_n$ 独立同分布：
$$var(\sum _{i=1}^n{x}_i))=\sum _{i=1}^{n}var(x_i)=n\cdot {\sigma }^2⟹var(\hat{\mu })=\frac{{\sigma }^2}{n}$$
注：样本方差是有偏估计，因为：$E({\sigma }^2)=(\frac{n-1}{n}){\sigma }^2\stackrel{n\to +\infty }{}{\sigma }^2$

2.2 二元分析

略

2.3 多元分析

$$\mathbf{D}=\left(\begin{array}{ccccc}& X_1& X_2& \cdots & X_d\\ {\mathbf{x}}_1& x_{11}& x_{12}& \cdots & x_{1d}\\ {\mathbf{x}}_2& x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n& x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right)$$

可视为：$\mathbf{X}=(X_1,\cdots ,X_d{)}^T$

Def.15. 对于随机变量向量 $\mathbf{X}$，其期望向量为：$E[\mathbf{X}]=\left(\begin{array}{c}E\left[X_1\right]\\ E\left[X_2\right]\\ ⋮\\ E\left[X_d\right]\end{array}\right)$

样本平均值为：$\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i,(=mean(\mathbf{D}))\in {\mathbb{R}}^d$

Def.16. 对于 $X_1,X_2$，定义协方差 ${\sigma }_{12}=E[(X_1-E(X_1))(X_2-E(X_2)]=E(X_1{X}_2)-E(X_1)E(X_2)$

Remark:

1. ${\sigma }_{12}={\sigma }_{21}$
2. 若两者独立，则 ${\sigma }_{12}=0$

Def.17. 对于随机变量向量 $\mathbf{X}=(X_1,\cdots ,X_d{)}^T$，定义协方差矩阵：
$$\mathbf{\Sigma }=E\left[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^T\right]={\left(\begin{array}{cccc}{\sigma }_1^2& {\sigma }_{12}& \cdots & {\sigma }_{1d}\\ {\sigma }_{21}& {\sigma }_2^2& \cdots & {\sigma }_{2d}\\ \cdots & \cdots & \cdots & \cdots \\ {\sigma }_{d1}& {\sigma }_{d2}& \cdots & {\sigma }_d^2\end{array}\right)}_{d\times d}$$
其为对称矩阵，定义 $\mathbf{X}$ 的广义方差为 $det(\mathbf{\Sigma })$

注：

1. $\mathbf{\Sigma }$ 是实对称矩阵且半正定，即所有特征值非负，${\lambda }_1\ge {\lambda }_2\cdots \ge {\lambda }_d\ge 0$
2. $var(\mathbf{D})=tr(\Sigma )={\sigma }_1^2+\cdots +{\sigma }_d^2$

Def.18. 对于 $\mathbf{X}=(X_1,\cdots ,X_d{)}^T$，定义样本协方差矩阵
$$\hat{\mathbf{\Sigma }}=\frac{1}{n}\left({\mathbf{Z}}^T\mathbf{Z}\right)=\frac{1}{n}{\left(\begin{array}{cccc}{Z}_1^T{Z}_1& Z_1^T{Z}_2& \cdots & Z_1^T{Z}_d\\ Z_2^T{Z}_1& Z_2^T{Z}_2& \cdots & Z_2^T{Z}_d\\ ⋮& ⋮& \ddots & ⋮\\ Z_d^T{Z}_1& Z_d^T{Z}_2& \cdots & Z_d^T{Z}_d\end{array}\right)}_{d\times d}$$
其中
$$\mathbf{Z}=\mathbf{D}-1\cdot {\hat{\mathbf{\mu }}}^T=\left(\begin{array}{c}{\mathbf{x}}_1^T-{\hat{\mathbf{\mu }}}^T\\ {\mathbf{x}}_2^T-{\hat{\mathbf{\mu }}}^T\\ ⋮\\ {\mathbf{x}}_n^T-{\hat{\mathbf{\mu }}}^T\end{array}\right)=\left(\begin{array}{ccc}-& {\mathbf{z}}_1^T& -\\ -& {\mathbf{z}}_2^T& -\\ & ⋮& \\ -& {\mathbf{z}}_n^T& -\end{array}\right)=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ Z_1& Z_2& \cdots & Z_d\\ \mid & \mid & & \mid \end{array}\right)$$

样本总方差是 $tr(\hat{\mathbf{\Sigma }})$，广义样本方差是 $det(\hat{\mathbf{\Sigma }})\ge 0$

$\hat{\mathbf{\Sigma }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{z}}_i{\mathbf{z}}_i^T$

Chapter 5 Kernel Method：核方法

Example 5.1 略，$\varphi (核映射):{\Sigma }^{\ast }(输入空间)\to {\mathbb{R}}^4(特征空间)$

Def.1. 假设核映射 $\varphi :\mathcal{I}\to \mathcal{F}$，$\varphi$ 的核函数是指 $K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$ 使得 $\forall ({\mathbf{x}}_i,{\mathbf{x}}_j)\in \mathcal{I}\times \mathcal{I},K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)$

Example 5.2 设 $\varphi :{\mathbb{R}}^2\to {\mathbb{R}}^3$ 使得 $\forall \mathbf{a}=(a_1，a_2),\varphi (\mathbf{a})=(a_1^2,a_2^2,\sqrt{2}{a}_1{a}_2{)}^T$

注意到 $K(\mathbf{a},\mathbf{b})=\varphi (\mathbf{a}{)}^T\varphi (\mathbf{b})=a_1^2{b}_1^2+a_2^2{b}_2^2+2a_1^2{a}_2^2{b}_1^2{b}_2^2$，$K:{\mathbb{R}}^2\times {\mathbb{R}}^2\to \mathbb{R}$

Remark：

1. 分析复杂数据
2. 分析非线性特征（知乎搜核函数有什么作用）

Goal：在未知 $\varphi$ 的情况下，通过分析 $K$ 来分析特征空间 $\mathcal{F}$ 结果。

5.1 核矩阵

设 $\mathbf{D}=\left\{{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n\right\}\subset \mathcal{I}$，其核矩阵定义为：$\mathbf{K}=[K({\mathbf{x}}_i,{\mathbf{x}}_j){]}_{n\times n}$

Prop. 核矩阵 $\mathbf{K}$ 是对称的且半正定的

Proof. $K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_j)\varphi ({\mathbf{x}}_i)=K({\mathbf{x}}_j,{\mathbf{x}}_i)$，故对称。

对于 $\forall {\mathbf{a}}^T\in {\mathbb{R}}^n$，
$$\begin{array}{rl}{\mathbf{a}}^T\mathbf{K}\mathbf{a}& =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ & =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & ={\left(\sum _{i=1}^n{a}_i\varphi \left({\mathbf{x}}_i\right)\right)}^T\left(\sum _{j=1}^n{a}_j\varphi \left({\mathbf{x}}_j\right)\right)\\ & ={\Vert \sum _{i=1}^n{a}_i\varphi \left({\mathbf{x}}_i\right)\Vert }^2\ge 0\end{array}$$

5.1.1 核映射的重构

”经验核映射“

已知 $\mathbf{D}={\left\{{\mathbf{x}}_i\right\}}_{i=1}^n\subset \mathcal{I}$ 与核矩阵 $\mathbf{K}$

目标：寻找 $\varphi :\mathcal{I}\to \mathcal{F}\subset {\mathbb{R}}^n$

首先尝试：$\forall \mathbf{x}\in \mathcal{I},\varphi (\mathbf{x})={\left(K\left({\mathbf{x}}_1,\mathbf{x}\right),K\left({\mathbf{x}}_2,\mathbf{x}\right),\dots ,K\left({\mathbf{x}}_n,\mathbf{x}\right)\right)}^T\in {\mathbb{R}}^n$

检查：${\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)?=K({\mathbf{x}}_i,{\mathbf{x}}_j)$

左边 $=\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)=\sum _{k=1}^{n}K\left({\mathbf{x}}_k,{\mathbf{x}}_i\right)K\left({\mathbf{x}}_k,{\mathbf{x}}_j\right)={\mathbf{K}}_i^T{\mathbf{K}}_j$，${\mathbf{K}}_i$ 代表第 $i$ 行或列要求太高。

考虑改进：寻找矩阵 $\mathbf{A}$ 使得，${\mathbf{K}}_i^T\mathbf{A}{\mathbf{K}}_j=\mathbf{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，即 ${\mathbf{K}}^T\mathbf{A}\mathbf{K}=\mathbf{K}$

故只需取 $\mathbf{A}={\mathbf{K}}^{-1}$ 即可（ $\mathbf{K}$ 可逆）

若 $\mathbf{K}$ 正定，${\mathbf{K}}^{-1}$ 也正定，即存在一个实矩阵 $\mathbf{B}$ 满足 ${\mathbf{K}}^{-1}={\mathbf{B}}^T\mathbf{B}$

故经验核函数可定义为：
$$\varphi (\mathbf{x})=\mathbf{B}\cdot {\left(K\left({\mathbf{x}}_1,\mathbf{x}\right),K\left({\mathbf{x}}_2,\mathbf{x}\right),\dots ,K\left({\mathbf{x}}_n,\mathbf{x}\right)\right)}^T$$
检查：${\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)=(\mathbf{B}{\mathbf{K}}_i{)}^T(\mathbf{B}{\mathbf{K}}_j)={\mathbf{K}}_i^T{\mathbf{K}}^{-1}{\mathbf{K}}_j=({\mathbf{K}}^T{\mathbf{K}}^{-1}\mathbf{K}{)}_{i,j}=K({\mathbf{x}}_i,{\mathbf{x}}_j)$

5.1.2 特定数据的海塞核映射

对于对称半正定矩阵 ${\mathbf{K}}_{n\times n}$，存在分解
$$\mathbf{K}=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right){\mathbf{U}}^T=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T$$
${\lambda }_i$ 为特征值，$\mathbf{U}=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\\ \mid & \mid & & \mid \end{array}\right)$ 为单位正交矩阵，${\mathbf{u}}_i={\left(u_{i1},u_{i2},\dots ,u_{in}\right)}^T\in {\mathbb{R}}^n$ 为特征向量，即
$$\begin{gathered} \mathbf{K}={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T \\ \begin{array}{rl}\mathbf{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& ={\lambda }_1{u}_{1i}{u}_{1j}+{\lambda }_2{u}_{2i}{u}_{2j}\cdots +{\lambda }_n{u}_{ni}{u}_{nj}\\ & =\sum _{k=1}^n{\lambda }_k{u}_{ki}{u}_{kj}\end{array} \end{gathered}$$
定义海塞映射：
$$\forall {\mathbf{x}}_i\in \mathbf{D},\varphi \left({\mathbf{x}}_i\right)={\left(\sqrt{{\lambda }_1}{u}_{1i},\sqrt{{\lambda }_2}{u}_{2i},\dots ,\sqrt{{\lambda }_n}{u}_{ni}\right)}^T$$
检查：
$$\begin{array}{rl}\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)& =\left(\sqrt{{\lambda }_1}{u}_{1i},\dots ,\sqrt{{\lambda }_n}{u}_{ni}\right){\left(\sqrt{{\lambda }_1}{u}_{1j},\dots ,\sqrt{{\lambda }_n}{u}_{nj}\right)}^T\\ & ={\lambda }_1{u}_{1i}{u}_{1j}+\cdots +{\lambda }_n{u}_{ni}{u}_{nj}=K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$
注意：海塞映射中仅对 $\mathbf{D}$ 中的数 ${\mathbf{x}}_i$ 有定义。

5.2 向量核函数

${\mathbb{R}}^d\times {\mathbb{R}}^d\to \mathbb{R}$

典型向量核函数：多项式核

$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^d,K_q(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{y})={\left({\mathbf{x}}^T\mathbf{y}+c\right)}^q$，其中 $c\ge 0$

若 $c=0$，齐次，否则为非齐次。

问题：构造核映射 $\varphi :{\mathbb{R}}^d\to \mathcal{F}$，使得 $K_q(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{y})$

注：$q=1,c=0,\varphi (\mathbf{x})=\mathbf{x}$

示例：$q=2,d=2$

高斯核自读

5.3 特征空间中基本核运算

$\varphi :\mathcal{I}\to \mathcal{F},K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$

• 向量长度：$\Vert \varphi (\mathbf{x}){\Vert }^2=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{x})=K(\mathbf{x},\mathbf{x})$

• 距离：
  $$\begin{array}{rl}{\Vert \varphi \left({\mathbf{x}}_i\right)-\varphi \left({\mathbf{x}}_j\right)\Vert }^2& ={\Vert \varphi \left({\mathbf{x}}_i\right)\Vert }^2+{\Vert \varphi \left({\mathbf{x}}_j\right)\Vert }^2-2\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)+K\left({\mathbf{x}}_j,{\mathbf{x}}_j\right)-2K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

$2K\left(\mathbf{x},\mathbf{y}\right)={\Vert \varphi \left(\mathbf{x}\right)\Vert }^2+{\Vert \varphi \left(\mathbf{y}\right)\Vert }^2-{\Vert \varphi \left(\mathbf{x}\right)-\varphi \left(\mathbf{y}\right)\Vert }^2$

代表 $\varphi \left(\mathbf{x}\right)$ 与 $\varphi \left(\mathbf{y}\right)$ 的相似度

• 平均值：${\mathbf{\mu }}_{\varphi }=\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)$
  $$\begin{array}{rl}{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2& ={\mathbf{\mu }}_{\varphi }^T{\mathbf{\mu }}_{\varphi }\\ & ={\left(\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)\right)}^T\left(\frac{1}{n}\sum _{j=1}^n\varphi \left({\mathbf{x}}_j\right)\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

• 总方差：${\sigma }_{\varphi }^2=\frac{1}{n}\sum _{i=1}^n{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2$，$\forall {\mathbf{x}}_i$
  $$\begin{array}{rl}{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2& ={\Vert \varphi \left({\mathbf{x}}_i\right)\Vert }^2-2\varphi {\left({\mathbf{x}}_i\right)}^T{\mathbf{\mu }}_{\varphi }+{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n}\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\end{array}$$

  $$\begin{array}{rl}{\sigma }_{\varphi }^2& =\frac{1}{n}\sum _{i=1}^n{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n(K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n}\\ & \\ & \end{array}$$