【机器学习-周志华】学习笔记-第十章

记录第一遍没看懂的
记录觉得有用的
其他章节：
        第一章
        第三章
        第五章
        第六章
        第七章
        第八章
        第九章
        第十章
        十一章
        十二章
        十三章
        十四章
        十五章
        十六章

        k近邻学习是给定测试样本，基于某种距离度量找出训练集中与其最
靠近的k个训练样本，然后基于这k个"邻居 "的信息来进行预测。这样虽然很简单，但没有显式训练过程，且容易受到极端点的影响。

        MDS是要原始空间中样本之间的距离在低维空间中得以保持；由公式(10.10)，可通过降维前后保持不变的距离矩阵D求取内积矩阵 B。

        主成分分析是通过最小化降维结果与原数据的差距或者最大化降维结果的可分度来得到对应的矩阵，进而选出最大的特征值对应的特征向量作为包含最多信息的“主成分”。

        核化线性降维是为了解决PCA降维得到的预本真结构差别较大提出的，它是通过样本映射到高维特征空间，然后在特征空间中实施PCA
        流形学习是利用局部欧氏距离不变的思路。等度量映射是利用流形在局部上与欧氏空间同胚这个性质，对每个点基于欧氏距离找出其近邻点，然后就能建立一个近邻连接图。局部线性嵌入试图保持邻域内样本之间的线性关系。

        度量学习是通过找到一个距离的普遍表示方法，并对其中的参数（M）直接进行学习。这样是直接对降维的距离度量方法进行最优的寻找。