非监督学习——随机投影与ICA

目录

随机投影：

sklearn 随机投影：

独立成分分析（Independent Component Analysis）：

sklearn 独立成分分析：

应用：

---

随机投影：

1、系统计算资源有限或主成分分析太繁重，使用随机投影。

2、基本前提：可以用数据集乘以一个随机矩阵，以减少其维度的数量，公式：。

3、支持随机投影的理论：Johnson-Lindenstrauss Lemma，处于高维度空间的有N个点的数据集，乘以随机矩阵，就可以被就诊映射成很低维度的空间，即缩小的数据集。

eps：随机投影误差，用于计算产生了多少列，并且是我们在此降维中可接受的失真的误差水平。

sklearn 随机投影：

独立成分分析（Independent Component Analysis）：

1、假设特征是独立源的混合，并尝试分离混合在数据集里的独立源。盲源分离问题可以使用这个原理。

2、X=AS，S=WX，。（s：信源，A：混合矩阵，W：非混合矩阵）

3、步骤：

• 数据集，将其居中、白化。
• 选择一个初始的随机权重矩阵。
• W 预估W是包括多个向量的矩阵，每个向量都是权值向量。，整个式子叫负熵（大致估计的一种方法）。
• 去相关操作，防止 和  转化为同样的值。，假设非高斯分布（必须不是高斯分布）。
• 重复第三步，直到发生转换，直到找到满意的W值。

4、 ICA 需要与我们试图分离的原始信号一样多的观测值。

sklearn 独立成分分析：

应用：

广泛用于医学扫描仪，例如EEG、MEG等脑补扫描仪。