【机器学习】PCA与ICA，RCA，LDA

PCA主成分分析
图一：本来是两个维度的值，一个维度是school ranking ，一个是safety problems, 观察图中的点，可以用一个直线连起来，这个直线就是新的主分成的方向，也是方差最大的方向。两个维度合成了一个新的纬neighborhood quality
损失的信息量是点到红色直线的距离

PCA最大方差的方向

何时使用PCA
1.潜在的特征
2.维度约减（可视化高维数据，减少噪声，使其他算法（回归，分类）工作的更好）（特征脸））

PCA回顾

PCA的代码

ICA 独立成分分析
一个例子：宴会上，有三个话筒，此时有三个人同时说话，这三个话筒都能收集到三个人说的话。现在已知这三个话筒收集的语音信息（观察变量），找出三个人说的话，这三个人说的话就是独立成分（隐藏变量）

PCA与ICA的区别与对比
PCA的特征都是相互正交的，特征是有序，按最大方差的，次大方差的。。。

ICA中各新特征间的互信息为0，新特征与老特征是正交的

当所有数据为高斯数据时，根据中心极限定理，PCA也能找出独立数据

有一篇关于PCA特别好的教程
https://algobeans.com/2016/06/15/principal-component-analysis-tutorial/
其中也讲到了PCA与ICA的区别。
Therefore, ICA may be a backup technique to use if we suspect that components need to be derived based on information beyond data spread, or that components may not be orthogonal.
ICA可以作为PCA的补充，用于我们怀疑基于数据传播信息导出的主分成或者主成分不是正交的时。

这个是PCA可视化的一个帖子
http://setosa.io/ev/principal-component-analysis/

RCA随机主成分分析，特点是快

LDA线性判别分析