ICA independent components analysis

ICA的4要素：

1. X->Y为线性变换
2. 新特征空间中 Y_i 之间相互统计独立。即I(Y_i,Y_j)=0
3. 可逆。X->Y，同时 Y->X。
4. 新特征Y_i 与原始特征X_i有较高的互信息 即I(Y_i,X_i)=正无穷

image.png

应用背景

根据观察变量X，经过线性变化，推测出互相独立的隐变量Y。

image.png

Blind source separation 盲源分离demo

如下图，鸡尾酒会中有3个人同时说话，3个人的声音经过线性叠加（物理学原理）分别记录到了3个麦克风中，任务是：根据3个麦克风的录音，独立分离出3个人的说话内容。
注意：必须同时使用3个麦克风才能恢复出原始声音，只使用1个或两个麦克风是实现不了的！

image.png

PCA 与 ICA 区别

image.png

通过例子说明 PCA 与 ICA 区别

PCA针对全局找特征，而ICA会针对局部找特征，因此：

1. 针对人脸数据集
   PCA找出的特征代表 亮度脸、平均脸。。。等全局的特征脸；而ICA找出的成分则是：鼻子、嘴巴、眼睛这种信息。
2. 针对景观数据集
   PCA还是找到的亮度图。。ICA会检测出edges成分。
3. 针对文档数据集
   PCA是找到是？。。ICA会检测出topics成分。

image.png

RCA

RCA：随机成分分析，也叫随机投影。随机选择投影方向（不是向PCA选择方差最大的方向），因此投影矩阵是随机的。实验表明这种方式很有效，原因没搞明白，可能就是集成，类比猴子扔飞镖决策效果优于投资者的例子。最大优点是随机投影运行速度极快！

LDA

线性判别分析。
PCA、ICA、RCA都是无监督的。LDA是监督算法。LDA会根据标签，选择线性投影矩阵，这在分类问题上很适用。

A Survey of Dimension Reduction Techniques

https://e-reports-ext.llnl.gov/pdf/240921.pdf