独立成分分析ICA系列3:直观解释与理解

服从均匀分布的独立成分sl和s2的联合分布．其中横坐标表示s1，纵坐标表示s2

为了进一步解释ICA的统计模型，考虑服从下列均匀密度分布的两个互相独立的随机变量：

这个联合分布是在一个方形上均匀分布的，其中样本点是从这个分布随机取样得到的。

现在如果用混合矩阵：

将源信号s1和s2混合，就得到混合信号xI和x2，他们的联合分布见下图．从上图可以看出随机变量s1和s2是相互独立的，因为如果给定s1的任何一个值，我们不能断定s2的任何信息，而将两个随机变量sl和s2混合后得到混合变量x1和22，则x1和x2之间就不是独立的了，因为当给定xl的取值后就可能得到zx2的信息，比如在下图的四个角处，x1和x2的关系就是已经确定了。

观测混合信号。x1和x2的联合分布．其中横坐标表示x1，纵坐标表示x2。

估计ICA数据模型的问题现在成为仅利用混合x1和x2的信息来估计混合矩阵A．实际上，我们可以通过观察上图来直观的估计矩阵A：平行四边形的边的方向就是混合矩阵A的列所指的方向．这样独立成分分析的解可以通过确定混合方向来得到，但在标准的ICA中这样的计算是较为复杂的，我们可以寻找更为方便，计算简单的算法，这里只
给出ICA的直观解释．对于复杂的情况，特别是稀疏超完各问题，我们可以通过一些这样的几何解释来帮助问题的解决。

参考文献：史振威. (2005). 独立成分分析的若干算法及其应用研究. (Doctoral dissertation, 大连理工大学).