机器学习算法笔记：降维

降维

解决过拟合问题除正则化和添加数据外，降维就是最好的方法。一个 $n$ 维球的体积可表示为：
$$C{R}^n$$

那么在球体积与边长为 $2R$ 的超立方体比值为：
$$\underset{n\to 0}{\lim }\frac{C{R}^n}{2^n{R}^n}=0$$

这就是所谓的维度灾难，在高维数据中，主要样本都分布在立方体的边缘，所以数据集更加稀疏。

降维的算法分为：

• 直接降维：特征选择
• 线性降维：PCA，MDS等
• 非线性：流形包括 Isomap，LLE 等

Data：$$X=(x_1\cdots x_N{)}_{N\times P}^T=\left(\begin{array}{rl}& x_1\\ & ⋮\\ & x_N\end{array}\right)={\left(\begin{array}{rl}& x_{11}\cdots x_{1P}\\ & ⋮\ddots ⋮\\ & x_{N1}\cdots x_{NP}\end{array}\right)}_{N\times P}$$

Sample mean：$$\bar{X}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}{X}^T{\mathbb{I}}_{N1}$$

Sample covariance：$$S_{P\times P}=\frac{1}{N}\sum _{i=1}^N(x_i-\overline{x})(x_i-\overline{x}{)}^T$$

为方便计算，令$E_N$表示$N$阶单位矩阵，${\mathbb{I}}_{N1}=\left(\begin{array}{r}1\\ ⋮\\ 1\end{array}\right)$，则有：
$$\begin{array}{rl}{X}^T-\bar{X}(1\cdots 1)& =X^T-\bar{X}{\mathbb{I}}_{N1}^T\\ & =X^T-\frac{1}{N}{X}^T{\mathbb{I}}_{N1}{\mathbb{I}}_{N1}^T\\ & =X^T\underset{\text{中心矩阵}{H}_N}{(E_N-\frac{1}{N}{\mathbb{I}}_{N1}{\mathbb{I}}_{N1}^T)}\end{array}$$

中心矩阵也是一个投影矩阵，具有如下性质：

• $H_N^T=H_N$ 对称性
• $H_N^2=H_N\cdot H_N=H_N$
• $H_N^n=H_N$

将协方差矩阵（数据集）写成中心化的形式：
$$\begin{array}{rl}S& =\frac{1}{N}\sum _{i=1}^N(x_i-\overline{x})(x_i-\overline{x}{)}^T\\ & =\frac{1}{N}(\underset{X^T-\bar{X}(1\cdots 1)}{x_1-\overline{x},x_2-\overline{x},\cdots ,x_N-\overline{x}})(x_1-\overline{x},x_2-\overline{x},\cdots ,x_N-\overline{x}{)}^T\\ & =\frac{1}{N}(X^T-\frac{1}{N}{X}^T{\mathbb{I}}_{N1}{\mathbb{I}}_{N1}^T)(X^T-\frac{1}{N}{X}^T{\mathbb{I}}_{N1}{\mathbb{I}}_{N1}^T{)}^T\\ & =\frac{1}{N}{X}^T(E_N-\frac{1}{N}{\mathbb{I}}_{N1}{\mathbb{I}}_{1N})(E_N-\frac{1}{N}{\mathbb{I}}_{N1}{\mathbb{I}}_{1N}{)}^{T}X\\ & =\frac{1}{N}{X}^T{H}_N{H}_N^{T}X\\ & =\frac{1}{N}{X}^T{H}_N{H}_{N}X=\frac{1}{N}{X}^{T}HX\end{array}$$

线性降维-主成分分析 PCA

原始空间重构

主成分分析基本思想是将所有数据投影到一个子空间中进行降维：

• 所有数据在子空间中更为分散
• 损失的信息最小，即：在补空间的分量少

高纬数据的维度间可能是相关的（特征相关），找到其 $p$ 中 $q$ 个线性无关的单位基 $u_i$，$u_i^T{x}_i$可以看作数据投影在$u_i$ 方向上的长度， 再乘以单位基 $u_i$ 将其变为 $u_i$ 方向上的向量 $(u_i^T{x}_i)u_i$，将这 $q$ 个基作为主要成分以达到降维目的。对于一个样本 $x_i$有： $$\widehat{x_i}=\sum _{i=1}^p(u_i^T{x}_i)u_i=\underset{\text{主成分}}{\sum _{i=1}^q(u_i^T{x}_i)u_i}+\sum _{i=q+1}^p(u_i^T{x}_i)u_i$$

最大投影方差

主成分需要尽可能保留更多的信息(如果都投影到一个点，那方差为零，没什么有用信息)，所以要使中心化后，投影到子空间的数据的方差最大化，（注意：中心化后的均值为0）：
$$\{\begin{array}{rl}& J=\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^q((x_i-\overline{x}{)}^T{u}_j-0{)}^2=\sum _{j=1}^q{u}_j^{T}S{u}_j,\\ & s.t.u_j^T{u}_j=1\end{array}$$

由于每个基都是线性无关的，于是每一个 $u_j$ 的求解可以分别进行，使用拉格朗日乘子法：
$$\underset{u_j}{\mathrm{argmax}}L(u_j,\lambda )=\underset{u_j}{\mathrm{argmax}}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$

对 $u_j$ 求偏导并令其为零：
$$S{u}_j=\lambda u_j$$

因此要求的基就是协方差矩阵的本征值，要使损失函数最大就是取在本征值前 $q$ 个最大值。

最小重构距离

最小重构距离也就是最小投影距离，保留更多的信息也就是损失的信息要尽可能少，损失函数形式同上，不过这里是要对其最小化： $$\{\begin{array}{rl}& J=\frac{1}{N}\sum _{i=1}^N\sum _{j=q+1}^p((x_i-\overline{x}{)}^T{u}_j{)}^2=\sum _{j=q+1}^p{u}_j^{T}S{u}_j,\\ & s.t.u_j^T{u}_j=1\end{array}$$

同样的：
$$\underset{u_j}{\mathrm{argmin}}L(u_j,\lambda )=\underset{u_j}{\mathrm{argmin}}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$

损失函数最小取在本征值剩下的个最小的几个值

SVD 与 PCoA

• S 分解：直接对方差矩阵进行 SVD 分解：
  $S=GK{G}^T$
  $G{G}^T=\mathbb{I}$ \qquad $G$是正交的
  $K=\left[\begin{array}{rl}& k_1\\ & \ddots \\ & k_p\end{array}\right]$，取前 $q$ 个最大的即可

• $HX$ 分解： 直接对中心化数据奇异值分解，再代入方差矩阵中，间接对方差矩阵SVD分解
  $$HX=U\Sigma V^T\to \{\begin{array}{rl}& U^{T}U=E_N,\to \text{列正交}\\ & V^{T}V=E_p,\to \text{正交}\\ & \Sigma :N\times p\to \text{对角矩阵}\end{array}$$

  代入方差矩阵中，间接得到方差矩阵SVD分解：
  $$S=\frac{1}{N}{X}^{T}HX=\frac{1}{N}\underset{\Delta }{X^T{H}^{T}HX}=\frac{1}{N}V\Sigma U^{T}U\Sigma V^T=\frac{1}{N}V\underset{{\Sigma }^2}{{\Sigma }^T\Sigma }{V}^T$$ 得到特征值和特征向量 $V$，然后求得投影坐标为：$HXV$

• T 分解：定义一个矩阵 $T={\Delta }^T$
  也就是 PCoA 主坐标分析，由上面的推导可知：
  $$\begin{array}{rl}& \underset{\text{坐标矩阵}}{HXV}=U\Sigma V^{T}V=U\Sigma \\ & T=\underset{{\Delta }^T}{HX{X}^T{H}^T}=HX{X}^{T}H=U\Sigma V^{T}V\Sigma U^T=U{\Sigma }^2{U}^T=U\Sigma {\Sigma }^T{U}^T{}_{⟹\text{ T 分解可直接得到坐标矩阵}}\\ & TU\Sigma =U{\Sigma }^2{U}^{T}U\Sigma =U{\Sigma }^3=U\Sigma {\Sigma }^2{}_{⟹\text{UΣ 是 T 的特征向量组成的矩阵}}\end{array}$$

方差矩阵 S 为 $p\times p$ 维（特征数量有关）， $T$ 为 $N\times N$ 维（样本数量有关），所以对样本量较少的时候可以采用 PCoA的方法。

P-PCA

PCA 对原数据 $x\in {\mathbb{R}}^p$降维 ，降维后的数据为 z ∈ R q ， q < p z\in\mathbb{R}^q，q

z∈Rq，q<p，从概率的角度对 PCA 进行分析(P-PCA)，$z$ 可以看作 latent data，$x$ 相当于对 $z$ 进行线性变换加上噪声（服从高斯分布，各项同性），类似线性高斯模型，这里隐变量 $z$ 是连续的：
$$\begin{array}{rl}z& \sim \mathcal{N}(0_{q1},{\mathbb{I}}_{qq}){}_{\text{latent data}}\\ x& =Wz+\mu +\epsilon {}_{\text{observe data}}\\ \epsilon & \sim \mathcal{N}(0,{\sigma }^2{\mathbb{I}}_{pp}){}_{\text{各项同性质}}\\ & ϵ\perp z\end{array}$$

P-PCA可以使用 EM 算法进行学习，在进行推断时需求得 $p(z|x)$：
$$P-PCA\{\begin{array}{rl}\text{Inference}& :p(z|x)\\ \text{Learning}& :W,\mu ,{\sigma }^2\to \text{EM算法}\end{array}$$

推断的求解过程和线性高斯模型（GMM 是离散的）类似：
$$\begin{array}{rl}& p(z|x)=\frac{p(x|z)p(z)}{p(x)}\\ & \mathbb{E}[x]=\mathbb{E}[Wz+\mu +\epsilon ]=\mu \\ & Var[x]=W{W}^T+{\sigma }^2\mathbb{I}pp\\ ⟹p(z|x)=\mathcal{N}(W^T(W{W}^T+& {\sigma }^2\mathbb{I}{)}^{-1}(x-\mu ),\mathbb{I}-W^T(W{W}^T+{\sigma }^2\mathbb{I}{)}^{-1}W)\end{array}$$

参考文献

【1】降维
【2】主成分分析（PCA）原理总结
【3】奇异值分解(SVD)原理与在降维中的应用
【4】线性判别分析LDA原理总结