机器学习——降维(主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE)...

机器学习——降维(主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE)

以下资料并非本人原创,因为觉得石头写的好,所以才转发备忘

(主成分分析(PCA)原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA]
来源: 石头 机器学习算法那些事 3月1日
主成分分析(Principal components analysis,以下简称PCA)是最常用的降维方法之一,在数据压缩和消除冗余方面具有广泛的应用,本文由浅入深的对其降维原理进行了详细总结。

目录

1.向量投影和矩阵投影的含义

  1. 向量降维和矩阵降维的含义
  2. 基向量选择算法
  3. 基向量个数的确定
  4. 中心化的作用
  5. PCA算法流程
  6. PCA算法总结

(线性判别分析(LDA)原理总结)[https://mp.weixin.qq.com/s/7H5-piL6ywHXgoxTXvJnNA]
来源: 石头 机器学习算法那些事 3月1日
前言

线性判别分析(Linear Discriminant Analysis,以下简称LDA)是有监督的降维方法,在模式识别和机器学习领域中常用来降维。PCA是基于最大投影方差或最小投影距离的降维方法,LDA是基于最佳分类方案的降维方法,本文对其原理进行了详细总结。

目录

  1. PCA与LDA降维原理对比
  2. 二类LDA算法推导
  3. 多类LDA算法推导
  4. LDA算法流程
  5. 正态性假设
  6. LDA分类算法
  7. LDA小结
    (奇异值分解(SVD)原理总结)[https://mp.weixin.qq.com/s/ESl7TxxfuYzjscyfJWLisw]
    来源: 石头 机器学习算法那些事 3月1日
    前言

奇异值分解(SVD)在降维,数据压缩,推荐系统等有广泛的应用,任何矩阵都可以进行奇异值分解,本文通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法,以及用协方差含义去理解行降维和列降维,最后介绍了SVD的数据压缩原理 。

目录

  1. 正交变换
  2. 特征值分解含义
  3. 奇异值分解
  4. 奇异值分解例子
  5. 行降维和列降维
  6. 数据压缩
  7. SVD总结

局部线性嵌入(LLE)原理总结
来源: 石头 机器学习算法那些事 3月1日
相关文章推荐:
主成分分析(PCA)原理总结
奇异值分解(SVD)原理总结
scikit-learn中PCA的使用方法
LLE参考资料下载:
链接: 
https://pan.baidu.com/s/1Ht01oCGpUjL7rCX5bAhnYg
提取码: 62wq 
LLE是一种非监督式的降维方法,与PCA降维方法相比,LLE降维后保持了初始样本间的局部关系。PCA是基于投影的最大方差的线性投影,在介绍LLE原理之前,我们首先用几张图看看PCA的降维效果:
目录

  1. LLE算法原理
  2. LLE算法推导
  3. LLE算法流程
    4. K近邻空间大于输入数据的维数D的情况分析
  4. 小结

视频资料

(白板推导系列,数学原理了然于胸)[https://www.bilibili.com/video/av32709936/?p=3&t=291]
(资料推荐系列)[https://www.bilibili.com/video/av31971102]

转载于:https://www.cnblogs.com/Erma/p/10699869.html

你可能感兴趣的:(机器学习——降维(主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE)...)