机器学习读书笔记：样本降维

k近邻算法

​ 在《机器学习》这本书中，讲降维方法之前首先介绍了这个k近邻算法。开始不知道是为什么，仔细看完之后还是了解了作者的思路。

​ k近邻算法是一个不需要训练的分类算法，它的分类过程如下：

• 针对新样本$x_i$，在已有的训练样本集$D$中计算与自己最近的$k$个最近距离的样本，距离计算可以参照聚类算法里面的介绍。

• 根据找到的这$k$个样本的标记，根据某种决策方法(简单的投票，加权投票等，可以参考集成学习中的介绍：

  )来进行输出，这个输出就是新样本$x_i$的类别。

• 样本基于独立采样且同部分的前提。

• 不需要训练过程，而且可以慢慢的将所有样本累计成训练集，这种方式被称为“懒惰学习”。

​ 这个算法介绍完之后，分析了这个算法中的特例，最近邻算法，也就是$k=1$的情况下的性能。$k=1$的话，那么新样本$x_i$的类别就是依赖于训练样本集中最近的那个样本，那么分类错误的情况就是新样本的实际类别与最近的不一致。用贝叶斯分类器的逻辑来分析的话，$x_i$样本为类别$c$的计算方式为$P(c|x)$。那么不一致的概率为$1-P(c|x)P(c|z)$，$z$为训练样本集中离$x_i$最近的那个样本。

​ 经过一堆的推导，这个简单的分类算法的错误率是不高于最优贝叶斯分类器错误率的两倍的。

​ 但是，这个有一个重要的前提，就是需要样本$x_i$和这个最近距离的样本$z$，是可以在一个非常小的距离内，比如正数$ϵ=0.001$，也就是$||x_i-z||=0.001$。

​ 如果只有一个属性，需要有1000个样本才能达到如此的采样密度，两个属性就是1000*1000，也就是一百万个样本。在真实场景下，样本的属性数是远远大于这个数的，所以需要进行降维处理，才引出了后面这一截的内容，至于上面为什么要在一个非常小的距离内才能推导出来，咱也不懂，也不想搞懂了，估计也搞不懂了，咱知道这个结果就好。

PCA主成分分析

​ 主成分分析是通过一系列的计算，分析得到样本$d$个属性的重要度排序，然后就可以选择性的进行降维了，降到多少维($d^{\prime }$)，就取top $d^{\prime }$的属性就好了。作为一个数学不怎么好的码农，这里记录一下这个过程，至于为什么要这么计算，就不是我能说明白的了，有兴趣的朋友可以自行研究。

​ 这里需要了解另外两个概念：协方差与特征值分解。我把这些记录在这里，便于自己后续查资料。

​ 直接对着书上给出的过程进行简单的分析。

• 假设有样本集$D=\{x_1,x_2...x_m\}$，每个样本$x$有$d$个属性。

• 协方差矩阵$X{X}^T$是这么计算得到的：
  $$X=\left\{\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1d}\\ x_{21}& x_{22}& \dots & x_{2d}\\ \dots & \dots & \dots & \dots \\ x_{m1}& x_{m2}& \dots & x_{md}\end{array}\right\}$$

  每一行为一个样本，所以总共是$d$列。

  那么$X^T$为$X$的转置矩阵，$X^T$为一个$d$行，$m$列的矩阵：
  $$X^T=\left\{\begin{array}{cccc}{x}_{11}& x_{21}& \dots & x_{m1}\\ x_{12}& x_{22}& \dots & x_{m2}\\ \dots & \dots & \dots & \dots \\ x_{1d}& x_{2d}& \dots & x_{md}\end{array}\right\}$$
  所以$X{X}^T$就是一个矩阵乘法：其中新的矩阵的第i行第j列:
  $$X{X}_{ij}^T=x_{i1}\ast x_{j1}+x_{i2}\ast x_{j2}+\cdots +x_{id}\ast x_{jd}$$
  所有的$x_i$都是经过了第一步中心化之后的值。

• 所有的样本$x_i$都在第一步中做了中心化，而且，所有的样本都是基于独立采样获得的，也就是样本之间是无关的。所以可以得到：
  $$\begin{gathered} X{X}_{ij}^T=0;i\ne j \\ X{X}_{ij}^T=\sum _{k=0}^d{x}_{ik}^2;i=j \end{gathered}$$
  也就是说$X{X}^T$是一个$d\ast d$对角矩阵，对角线上以外的值均为0。所以可以对其做特征值分解。

• 书上描述是经过**“最近重构性”和“最大可分性”**两个角度去做推导可以得出(推导过程看不太懂，有兴趣的朋友自己去理解)：
  $$X{X}^{T}W=\lambda W$$
  这就是针对$X{X}^T$做特征值分解，得到特征值$\lambda$和特征向量$W$，特征值分解也不说了，大家百度一下就知道了。可以直接用numpy包提供的函数就行求解。

• 根据特征值分解的情况，$X{X}^T$是一个$d\ast d$的矩阵，所以会有$d$个$\lambda$特征值和对应的$d$个特征向量$W$，$w_i$为列向量，每个特征向量有$d$个分量。

• 将$d$个$\lambda$进行排序获得$({\lambda }_1,{\lambda }_2\dots {\lambda }_d)$，取其前面的$d^{\prime }$个特征值和特征向量$(w_1,w_2\dots w_{d^{\prime }})$。

• $d^{\prime }$个特征向量形成了一个转换矩阵（$d\ast d^{\prime }$）：
  $$\begin{gathered} W=(w_1,w_2\dots w_{d^{\prime }}) \\ W=\left\{\begin{array}{cccc}{w}_{11}& w_{21}& \dots & w_{d^{\prime }1}\\ w_{12}& w_{22}& \dots & w_{d^{\prime }2}\\ \dots & \dots & \dots & \dots \\ w_{1d}& w_{2d}& \dots & w_{d^{\prime }d}\end{array}\right\} \end{gathered}$$

• 所以用一个$d$维样本$x_i$，来乘以这个转换矩阵$W$，根据矩阵乘法: $1\ast d$的向量乘以一个$d\ast d^{\prime }$的矩阵，可以获得一个$1\ast d^{\prime }$的向量，从而起到了降维的效果。

PCA代码

def pca(dataMat, topNfeat=9999999):
    meanVals = mean(dataMat, axis=0)
    meanRemoved = dataMat - meanVals #remove mean
    covMat = cov(meanRemoved, rowvar=0)
    eigVals,eigVects = linalg.eig(mat(covMat))
    eigValInd = argsort(eigVals)            #sort, sort goes smallest to largest
    eigValInd = eigValInd[:-(topNfeat+1):-1]  #cut off unwanted dimensions
    redEigVects = eigVects[:,eigValInd]       #reorganize eig vects largest to smallest
    lowDDataMat = meanRemoved * redEigVects#transform data into new dimensions
    reconMat = (lowDDataMat * redEigVects.T) + meanVals
    return lowDDataMat, reconMat

核化线性降维(KPCA)

​ 这一节在书中是另外的一章节，但是我不怎么看的明白，大概理解的意思是使用一个核函数将一个$n$维的样本先升维到$k,k>d$维，使得可以线性可分之后，然后再在$k$维的基础上进行PCA分析。

​ 至于核函数，在支持向量机那一章写过：

低维嵌入(MDS)

​ PCA主成分分析方法是基于样本的“最近重构性”和“最大可分性”两个角度进行分析得到的推导过程。而低维嵌入方法是基于如下思路：如果样本集$D$在$d$个属性中的距离$dis{t}_{ij}$能在缩放成$d^{\prime }$后保持不变，那么就可以将$d^{\prime }$个属性作为$d$个属性的低维嵌入，这个过程是可以求得一个$d\ast d^{\prime }$的转换矩阵$W$对样本进行转换，成为“多维缩放”。

​ MDS算法的过程描述，实际上就是描述了这个矩阵的生成过程：

• 首先要获得基于样本集的距离（基于某种距离计算方法）矩阵$D$:
  $$\begin{gathered} D_{ij}=dis{t}_{ij} \\ D=\left\{\begin{array}{cccc}dis{t}_{11}& dis{t}_{12}& \dots & dis{t}_{1m}\\ dis{t}_{21}& dis{t}_{22}& \dots & dis{t}_{2m}\\ \dots & \dots & \dots & \dots \\ dis{t}_{m1}& dis{t}_{m2}& \dots & dis{t}_{mm}\end{array}\right\} \end{gathered}$$

• 通过这个距离矩阵计算一个内积矩阵$B$，这个矩阵的定义是$Z^{T}Z$，$Z$是降维之后样本的表达，也就是从样本空间$X$中砍掉一些属性，此时$Z$是未知数，需要通过先计算$B$来得出。

• 经过一通骚气的推导，照旧不解释，大致的概念就是因为多维缩放的思路是距离保持不变，所以在样本空间中的距离$||x_i-x_j||$是等于在低维样本空间$Z$下的$||z_i-z_j||$的。可以得到矩阵$B$每个元素的计算方法：
  $$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{\cdot j}^2+dis{t}_{\cdot \cdot }^2)$$
  其中：
  $$\begin{gathered} dis{t}_{i\cdot }^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2;第i行的平方和的均值 \\ dis{t}_{\cdot j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2;第j列的平方和的均值 \\ dis{t}_{\cdot \cdot }^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2;距离矩阵D的平方和的均值 \end{gathered}$$

• 矩阵$B$计算出来之后，对$B$做特征值分解：$ B=V\Lambda V^{T$，V为特征向量组成的矩阵，$\Lambda$为特征值组成的对角阵。又因为$B=Z}TZ$，所以$Z^TZ=V\Lambda V^{T$，所以可以得到$Z=\Lambda}{1/2}V^{T$，这个怎么算出来的不知道，只知道反过来验证一下：$Z}T=\Lambda^{{1/2}V$，因为$\Lambda$是对角阵，求个转置还是本身，$V}T$的转置就是$V$，然后再乘一下就是$V\Lambda V^T$。也就是说把矩阵$B$做完特征值分解之后就可以直接计算得到降维之后样本空间$Z$了。

• 在特征值分解中，如果$\Lambda$包含了$d^{\ast }$个非零的特征值，$d^{\ast }<d$，那么$\Lambda$就是一个$d^{\ast }\ast d^{\ast }$的对角阵，$Z$的样本空间就是一个$m\ast d^{\ast }$的矩阵。达到降维的目的。但是如果$d^{\ast }=d$，我想应该就是无法进行降维计算。

流形学习

等度量映射(Isomap)

​ Isomap算法实际上就是将MDS中的dist距离计算增加了一种新的定义：

​ 两个样本之间的距离计算不是通过闵可夫斯基距离或者欧式距离进行计算。而是通过下面几个步骤去计算$x_i$与$x_j$两个样本点之间的距离。

• 对所有样本点$x_i$，找到样本点的k近邻，这个近邻寻找还是通过欧式距离进行计算，这就是所谓的局部的概念吧。
• 所有的样本点与k近邻之间的距离形成了一张无向图，然后再通过迪杰斯特拉算法找到$x_i$和$x_j$之间的最短距离，用这个距离作为MDS算法中矩阵D的值。

​ 我自己对这个东西的理解是这样的，借用书上的图：

​ 从某种意义上讲，高维的欧式距离，也就是图中的黑线距离是不可达的，也就是没有什么业务含义的。所以只能顺着这个分布图形的曲面去进行计算距离。而局部的欧式距离又是可以的(什么流形在局部与欧式距离同胚大概就是这个意思吧)。

局部线性嵌入(LLE)

​ 对这个算法我是这么理解的，和MDS类似。MDS是想在降维后保证样本之间的距离不变。而LLE(Locally Linear Embedding)是试图保持样本$x_i$与周边的近邻的线性关系。

• 比如$x_i$的近邻参数$k=3$，那么近邻关系为:

$$x_i=w_{ij}{x}_j+w_{ik}{x}_k+w_{il}{x}_l$$

​ 或者说$x_i$可以通过他的近邻来进行表示。

• 然后算法试图找到一组$w$，使得:

$$\begin{gathered} \underset{w}{\min }\sum _{i=1}^m||x_i-\sum _{j\in Q_i}{w}_{ij}{x}_j|{|}_2^2 \\ s.t.\sum _{j\in Q_i}{w}_{ij}=1 \end{gathered}$$

​ 其中$Q_i$是样本$x_i$的近邻的下标集合。我理解这是要找到一组w，使得样本$x_i$与其线性表示的差距最小。

• 然后可以求解出:
  $$\begin{gathered} w_{ij}=\frac{{\sum }_{k\in Q_i}{C}_{jk}^{-1}}{{\sum }_{l,s\in Q_i}{C}_{ls}^{-1}} \\ {C}_{jk}=(x_i-x_j{)}^T(x_i-x_k) \end{gathered}$$

• $w$求出来之后，因为降维后与降维前的线性关系需要保持不变，所以对于降维后的样本表示$z_i$必须满足：
  $$\underset{z}{\min }\sum _{i=1}^m||z_i-\sum _{j\in Q_i}{w}_{ij}{z}_j||$$
  上次是通过$x$求解$w$，这次是通过$w$求解$z$。

• 令$M=(I-W{)}^T(1-W)$，将上面的公式可以改写为：
  $$\begin{gathered} \underset{Z}{\min }tr(ZM{Z}^T) \\ s.t.Z{Z}^T=I \end{gathered}$$

• 老套路，对M特征值分解，M分解完之后的$d^{\prime }$个最小的特征值对应的特征向量组成的矩阵即为$Z^T$。

度量学习

​ 上述的几种降维方法，基本上都是基于某种距离度量(PCA的最近重构性，最大可分性，MDS的距离矩阵，流形学习的测地距离，最小路径计算等)，都是基于距离的某种度量。这些度量方法中都是确定的方法和参数进行计算，而度量学习是想将这些参数通过样本训练、学习来确定。

​ 大概的过程如下：

• 在计算欧式距离的基础上增加属性的权重值$W=(w_1,w_2\dots w_d)$，是的计算距离公式变成：
  $$dis{t}_{ij}=w_{1}dis{t}_{ij,1}+w_{2}dis{t}_{ij,2}+\cdots +w_{d}dis{t}_{ij,d}$$

• 公式可以写成：
  $$\begin{gathered} (x_i-x_j{)}^{T}W(x_i-x_j) \\ W=diag(w) \end{gathered}$$
  其中的$W$就是一个$d\ast d$对角矩阵，$W_{ii}=w_i$。

• 上面的$W$中的非对角元素为0，是因为所有的属性全部独立，无关联。如果有关联的话，对角元素就是非0的。然后这个矩阵就写成$M$，成为度量矩阵。距离公式也成为马氏距离：
  $$(x_i-x_j{)}^{T}M(x_i-x_j)$$

• 学习的目标就是训练这个M。训练M的话就需要确认一个优化目标，需要根据某种学习方法来确定，书中给出的是按照近邻分类器这种学习方法来制定这个优化目标。一通推导之后优化目标是：

• 后面就是各种推导和学习计算了，书中没有，我也不想继续研究这个了。大概就是通过这个优化目标，通过训练集样本进行计算可以得到这个M的最优值。从而达到学习的效果。