李宏毅机器学习笔记(十四)——无监督学习(二)：线性数据降维

一.什么是数据降维

  对于无标签的数据，我们很多时候并不是想将其分类，而是所谓的根据原始特征，精炼出一定的更有代表性的特征，这样既可以减小维度压缩数据量，同时相当于是对数据的一种清洗(例如去除冗余共线性的数据)。
  因此我们的目标就是，对k个n维的行向量数据$x_i$(下标表示的是第几个输入数据)，我们找到一个函数$f$，使得$f(x)=z$，其中$z$为m维行向量，代表着$x$转化后的特征，m

二.主成分分析(PCA)

1.基本思想

  在PCA中我们的一个思想就是，高维空间也是多个维度垂直相交组合而成的，那我们就选取一些垂直相交的组合，其中每次选择的投影方向上，数据在这个方向上投影值的方差最大，且与前面的方向垂直。一般来说，这个投影上的方差越大，越说明数据之间的差异就越显著，从而会有更多的信息。
  当然，既然是确定方向，为了计算方便，那就应该是一个单位向量来确定(做投影的时候分母是1直接忽略)。否则的话只要这个向量本身长度很大，那投影值就会很大，从而方差可以任意大，这就失去了意义了。
  从而我们的$f$就是一个$m\ast n$的矩阵$W$，有$z=Wx$

2.数学推导

  个人感觉李宏毅老师的推导是全网最清楚的推导之一，只要会拉格朗日乘数法，矩阵求导公式即可轻松自己推出来。
  我们可以一维一维的去看，先去看第一维(也就是选第一个方向向量)。
  在这一维中，我们要确定$W$中的第一行$w_1$，使得$z_1=w_1\ast x$，其中$z_1$是一个数值。对于k个输入，我们就希望通过找合适的$w_1$，使得$z_1$的方差最大，即使得$Var(z_1)$最大。
$$\begin{array}{rl}Var(z_1)& =\sum _{z_1}(z_1-{\overline{z}}_1{)}^2\\ & =\sum _{i=1}^k(w_1(x_i-\overline{x}){)}^2\\ & =\sum _{i=1}^k(w_1(x_i-\overline{x}))(w_1(x_i-\overline{x}){)}^T\\ & =\sum _{i=1}^k{w}_1^T(x_i-\overline{x})(x_i-\overline{x}{)}^T{w}_1\\ & =w_1^T(\sum _{i=1}^k(x_i-\overline{x})(x_i-\overline{x}{)}^T)w_1\end{array}$$  中间的部分我们可以看出恰好是$n\ast n$的协方差矩阵$S$，其中$S_{ij}$表示输入的数据中第$i$个维度和第$j$个维度的协方差。
  因此我们就是要使得$w_1^{T}S{w}_1$最大，且有$||w_1|{|}_2=1$，因此我们可以使用拉格朗日法求极值，即$$g(w_1)=w_1^{T}S{w}_1+\alpha (w_1^T{w}_1-1)$$  由于$w_1$也是一个向量，我们要对其中每个值都要求导来求极值，这个计算过程会用到大量矩阵和向量的求导公式，这里就略去了，没什么技术含量。
  最后我们得到有$S{w}_1-\alpha w_1=0$即$S{w}_1=\alpha w_1$。因此我们发现，也就是说，如果让上面的式子取极值，有$\alpha$恰好是$S$的特征值而$w_1$恰好是$S$的特征向量。而此时$w_1^{T}S{w}_1=w_1^T\alpha w_1=\alpha w_1^T{w}_1=\alpha$。因此我们取最大的特征值，就可以得到我们想要的$w_1$
  之后我们以此类推，可以计算后面的维度。后面第i维就是额外加了个条件，使得$w_i^T{w}_j=0(j<i)$，即与前面的每个向量都保持垂直。
  同样使用拉格朗日乘数法，即$$g(w_i)=w_i^{T}S{w}_i+\alpha (w_i^T{w}_i-1)+\sum _{j=1}^{i-1}{\beta }_j(w_i^T{w}_j-0)$$  同样进行求导，我们得到$S{w}_i-\alpha w_i-{\sum }_{j=1}^{i-1}{\beta }_j{w}_j=0$。左右同时乘$w_i^T$，由于$w_i^T{w}_j=0$，因此也有$S{w}_i=\alpha w_i$，从而就是说$w_i$也是对应的特征向量。结合我们不能重复，因此我们选当前可选的最大特征值的特征向量即可，特征向量之间必正交，也说明了我们选择的合理性。
  因此我们得到了计算矩阵$w$的方法：首先计算协方差矩阵，之后计算对应的特征值和特征向量，取前面k个特征值的特征向量即可(实对称阵的不同特征值的向量必正交)。

3.从另一个角度看待PCA

  首先要介绍一下奇异值分解。
  对于矩阵$A_{m\ast n}$，必有$A_{m\ast n}=U_{m\ast m}{\Sigma }_{m\ast n}{V}_{n\ast n}$，其中$U$和$V$都是正交矩阵，$\Sigma$是奇异值矩阵。
  证明：$A{A}^T=U\Sigma V{V}^T{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$。而$A{A}^T$是半正定阵，我们可以进行相似对角化，得到$A{A}^T=BC{B}^T$，其中$B$是正交阵而$C$是特征值矩阵。因此我们有$U=B$，$\Sigma {\Sigma }^T=C$。$V$的证法也同理。
  特别的，我们可以将奇异值矩阵压缩到$k\ast k(k<min\{m,n\})$，使得$A_{m\ast n}\approx U_{m\ast k}{\Sigma }_{k\ast k}{V}_{k\ast n}$。下面是一个简单的例子。

  我们回头再看PCA中想要做的事情，我们其实就是找一个$m\ast n$的矩阵来对输入进行变化，而这个矩阵就可以看成是$m$个长度为$n$的向量$u_i$，每个输入与平均值的差(代表了这个输入的特征)都尽量的表示成这$n$个向量的带权重的线性叠加。因此我们对于每个输入$x$，就有如下的表达式：$$x-\overline{x}\approx \sum _{i=1}^m{c}_i{u}_i=\hat{x}$$  我们就希望找到这组向量，使得所有的$||(x-\overline{x})-\hat{x}|{|}_2$和最小。
  我们把所有的输入全部写出：
$$\begin{array}{rl}{x}^1-\overline{x}& \approx c_1^1{u}^1+c_2^1{u}^2+...+c_m^1{u}^m\\ x^2-\overline{x}& \approx c_1^2{u}^1+c_2^2{u}^2+...+c_m^2{u}^m\\ & ......\\ x^k-\overline{x}& \approx c_1^k{u}^1+c_2^k{u}^2+...+c_m^k{u}^m\end{array}$$  我们可以将其写成矩阵形式(如果没有理解，可自行转置，转置后十分好理解，这里写成这样是为了后续好操作)
$[x^1-\overline{x}{x}^2-\overline{x}...x^k-\overline{x}]=[u_1{u}_2...u_m]\left[\begin{array}{c}{c}_1^1{c}_1^2...c_1^k\\ c_2^1{c}_2^2...c_2^k\\ ...\\ c_m^1{c}_m^2...c_m^k\end{array}\right]$
  我们观察一下矩阵的维度，发现可以简记为$A_{n\ast k}=B_{n\ast m}{C}_{m\ast k}$，我们可以与奇异值分解$A_{m\ast n}\approx U_{m\ast k}{\Sigma }_{k\ast k}{V}_{k\ast n}$对应，我们就可以发现这里的$B$，也就是由$u$组成的矩阵，就是奇异值分解中，对应着奇异值的最前面的正交矩阵$U$，因此这里的$B$就是$X{X}^T$的前$m$个特征值(这是$X$的奇异值的概念)对应的特征向量。
  因此我们这样做也得到了PCA的表达式。

4.PCA的效果

  PCA对于图片等数据压缩的效果还是不错的，但是由于它是无监督学习且是线性的，因此对有标签数据的效果不如其他方法好，且无法对非线性数据进行有效的降维，后者将在下一篇非线性降维方法中讲解。

  另外PCA其实还有一个隐藏的缺点：既然名字叫“主成分分析”，那就是我们希望我们能够这样得到特征；然而实际上我们是无法达到预期效果的，如下图所示。我们可以看到每个维度都像是一个复杂的结构，而不是所谓的各个数字的特征，比如一个横线一个圈等等。

  问题就出现在PCA的约束太小，这些特征向量的方向是任意的，因此可能会出现有负值像素的向量方向；且最后线性叠加时参数也是任意，所以也可能通过取负值变成相减。这两个可取负值，就使得每张图不用再是一个个组件的叠加，完全可以是各种复杂的图加加减减得到。因此每个维度就是这样很复杂(具体表示什么不得而知)，而不是所谓的简单特征了。
  因此后来提出了一种改进PCA的方式，约束这些向量中的数字和叠加时权重必须都为非负数，称作非负矩阵分解(NMF)，这里就不多作介绍，效果如下，可见我们基本是达到了我们最初想要的效果。

三.其他线性降维方法

  这里和视频中一样，只是做一下简介。详细的内容也许以后会更新。
  1.多维尺度变换(MDS)：主要关注于如何保留初始信息，使得降维的过程中引起的变形最小。
  2.概率主成分分析(PPCA)：额外假设输入是满足一个多元高斯分布的，与降维后的维数相同，结合了PCA和GMM。
  3.核主成分分析(Kernel PCA)：类似于SVM中的核，用于进行非线性特征变换。
  4.典型相关分析(CCA)：对两组多维数据一起分析，去找到它们内部的联系。
  5.独立成分分析(ICA)：重新定义独立向量的概念，去寻找对应的互相独立的向量来进行降维，更适合于去噪等应用。
  6.线性判别分析(LDA)：是一种有监督降维方式，与PCA共同点都是要找到一组垂直的单位向量，但LDA中是使得投影中类内方差最小而类间方差最大。