机器学习（西瓜书）注解：第10章 降维与度量学习

题目：机器学习（西瓜书）注解：第10章 降维与度量学习

        本次更新第10章，降维与度量学习。针对该章注解有任何问题欢迎在此留言~

       从该章目录中可以看出10.2节至10.5节均为降维方法，其中10.2节的MDS和10.3节的PCA为线性降维方法，而10.4节的KPCA和10.5节的流形学习（含Isomap和LLE两种方法）为非线性降维方法，但作者为什么将k近邻学习和度量学习也放入本章呢？个人感觉这充分体现了作者对机器学习理解之深厚。

        在CMU的Tom M. Michell所著的机器学习教材中将k近邻单列一章（第8章 基于实例的学习），而西瓜书作者无缝地将kNN与降维融入到一起，则是从kNN的重要假设：“任意测试样本附近任意小的距离范围内总能找到一个训练样本”（西瓜书10.2节第一句话）；而度量学习作为机器学习的一个研究方向或者说是一个重要的工具，作者将其写入书中在情理之中，但作为一个分支又不值得单列一章，怎么办呢？注意10.6节最后一段话（西瓜书P240）中提到“当度量矩阵M低秩时，度量学习能用于降维之目的”，这就与降维扯上了关系。kNN的假设引出降维的动机，因此放在本章开头；度量学习在某种情形下也可用于降维，因此放在本章末尾，这不得不说是一个巧妙的安排。

        注解中提到的The Matrix Cookbook(Version: November 15, 2012)最新链接如下（@20180926更新）：
        http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/imm3274.pdf

（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w） 

第 10 章目录：
第 10 章 降维与度量学习...............................................................................................................1
      10.0 预备知识..........................................................................................................................1
             1、符号约定.....................................................................................................................1
             2、矩阵与单位阵、向量的乘法........................................................................................1
             3、矩阵的 F 范数与迹.....................................................................................................1
      10.1 k 近邻学习......................................................................................................................3
             1、式(10.1)的解释...........................................................................................................3
             2、式(10.2)的推导...........................................................................................................3
      10.2 低维嵌入.........................................................................................................................4
             1、图 10.2 的解释...........................................................................................................4
             2、式(10.3)的推导...........................................................................................................4
             3、式(10.4)的推导...........................................................................................................5
             4、式(10.5)的推导...........................................................................................................5
             5、式(10.6)的推导...........................................................................................................6
             6、式(10.10)的推导.........................................................................................................6
             7、图 10.3 关于 MDS 算法的解释...................................................................................7
      10.3 主成分分析.....................................................................................................................9
             1、式(10.14)的推导.........................................................................................................9
             2、式(10.16)的解释.......................................................................................................12
             3、式(10.17)的推导.......................................................................................................14
             4、根据式(10.17)求解式(10.16)....................................................................................14
      10.4 核化线性降维................................................................................................................15
             1、式(10.19)的解释.......................................................................................................15
             2、式(10.20)的解释.......................................................................................................15
             3、式(10.21)的解释.......................................................................................................16
             4、式(10.22)的解释.......................................................................................................16
             5、式(10.24)的推导.......................................................................................................16
             6、式(10.25)的解释.......................................................................................................16
      10.5 流形学习.......................................................................................................................17
             1、等度量映射(Isomap)的解释 ....................................................................................17
             2、式(10.28)的推导.......................................................................................................17
             3、式(10.31)的推导.......................................................................................................18
      10.6 度量学习.......................................................................................................................20
             1、式(10.34)的解释.......................................................................................................20
             2、式(10.35)的解释.......................................................................................................21
             3、式(10.36)的解释.......................................................................................................21
             4、式(10.37)的解释.......................................................................................................21
             5、式(10.38)的解释.......................................................................................................21
             6、式(10.39)的解释.......................................................................................................21

另外，之前已发布的章节还有：

机器学习（西瓜书）注解：第6章 支持向量机