【西瓜书】第10章 降维与度量学习

这一章内容感觉有点难，涉及到很多关于矩阵运算的内容，书中对KNN的内容没有过多的描述，在笔记中先将矩阵运算的一些公式进行搬运，而后直接从第二部分，低维嵌入开始

线性降维方法

PCA 主成分分析

基本思想：构造原变量的一系列线性组合形成几个综合指标，以去除数据的相关性，并使低维数据最大程度保持原始高维数据的方差信息。

主成分个数的确定：

    贡献率：第i个主成分的方差在全部方差中所占比重，反映第i个主成分所提取的总信息的份额。

    累计贡献率：前k个主成分在全部方差中所占比重

    主成分个数的确定：累计贡献率>0.85

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

相关系数矩阵or协方差阵？

当涉及变量的量纲不同或取值范围相差较大的指标时，应考虑从相关系数矩阵出发进行主成分分析；

对同度量或取值范围相差不大的数据，从协方差阵出发.

相关系数矩阵消除了量纲的影响。

LDA 判别分析

至多能把C类数据降维到C-1维子空间

MDS

多维尺度分析

当 n 个研究对象之间的相似性（或距离）给定时，确定这些对象在低维空间中的表示，并使其尽可能与原先的相似性（或距离）“大体匹配”，使得由降维所引起的任何变形达到最小。

将研究对象在一个低维（二维或三维）的空间形象地表示出来（感知图），简单明了地说明各研究对象之间的相对关系。

10.2 低维嵌入

MDS  多维缩放的目标

多维缩放的目标是两个样本在不同空间中的欧式距离等于原始空间中的距离

解释：

也可以：

被中心化的意思是将样本集合Z的每一行（属性）减去该行的均值

从 D距离矩阵求出内积矩阵 B 而后分级得到 Z

MDS算法描述

属性大于样本数

样本个数比属性多

并不一定取出所有的特征值，选取一部分比较大的特征值就能相对接近于原来的距离矩阵

10.3 PCA主成分分析

西瓜书中对PCA的讲解非常简单，只是给出了公式和最终的结果，最后的结果就是求出协方差矩阵的特征值，并取出前几个较大的特征值，进行降维。

标准正交基与投影变换

变换后的坐标

西瓜书中的最优化目标

转换后和转换前的距离

w是标准正交基

西瓜书

以下请注意，怎么推导xx和XX之间的关系：

XXT是协方差矩阵，下面会有解释

x是已经样本特征减去均值后的值，所以叫做协方差，对角线是方差

方差与协方差

协方差矩阵

协方差矩阵的由来

关键字  前d‘个特征值  进行降维

下面给出算法

核化线性降维

这一节看完之后没有什么感觉，不知道在讲什么，一会搜一下应用。

流形学习

不要被“流形学习”的名字所欺骗，本节开篇就明确说了，它是一类借鉴了拓扑流形概念的降维方法而已，因此称为“流形学习”。

1.等度量映射

10.2节MDS算法的降维准则是要求原始空间中样本之间的距离在低维空间中得以保持，10.3节PCA算法的降维准则是要求低维子空间对样本具有最大可分性，因为它们都是基于线性变换来进行降维的方法（参见式(10.13)），故称为线性降维方法。

与MDS算法的差距在于样本之间距离计算不同  最优距离算法

2.局部线型嵌入

与Isomap试图保持近邻样本之间的距离不同，局部线性嵌入试图保持样本之间的线性关系，关键就是基于这个线型关系不变，求出线型关系的矩阵（利用特征值，m的比较大的特征值对应的特征向量矩阵，对样本空间进行转换）

先给出西瓜书中10.27  10.30

读到这个地方，感受到西瓜书简直不适合自学，很多公式根本不懂，就给出结论。

这个应该好理解，就是点和其周边点的距离最小，这个一看就是求最优解，使用拉格朗日

重点关注K个近邻，w才有值，不是近邻参数是0

以上就是10.27 28公式的推导………………

10.30来了

推导来了……………………………………

上面求tr（*）的  那个就是求v（距离）的最小值

算法再来一下子………………………………………………

这个叫局部线型嵌入…… 解决非线性降维的问题……流形学习

度量学习（  绕过降维的过程，将学习目标转化为对距离度量计算的权重矩阵的学习）

度量学习的目的就是计算出合适的“度量矩阵”，在实际计算时，我们可以将度量矩阵 M 直接嵌入到近邻分类器的评价体系中去，通过优化该性能指标相应的求得 M.

Isomap和MDS算法区别在于距离矩阵的计算方法不同，Isomap算法在计算样本间距离时使用的（近似）测地线距离，而MDS算法使用的是欧氏距离，也就是说二者的距离度量不同。  在度量学习中引入了马氏距离。

马氏距离就是权重矩阵

下面是对这几个距离的解释

因此，所谓“度量学习”，即将系统中的平方欧氏距离换为式(10.34)的马氏距离，通过优化某个目标函数，得到最恰当的度量矩阵M（新的距离度量计算方法）的过程。书中在式(10.34)~(10.38)介绍的NCA即为一个具体的例子，可以从中品味“度量学习”的本质。

为保持样本之间的距离非负且对称，马氏距离中的“度量矩阵” M 为正定或者半正定矩阵，就有  ，马氏距离

正定矩阵和半正定矩阵  —— 这篇文章中说明了其中的含义，为方便，截图如下：

近邻成分分析 NCA

近邻分类器在进行判别时通常使用多数投票法，邻域中的每个样本头1票，邻域外的样本投0票，不妨将其替换为概率投票法，对于任一样本Xj，它对于Xi分类结果影响的概率为

马氏距离 

10.38的求解方法  用A表示

就能求解A及P