看Independent Component Analysis (ICA) 有感

下午在看Independent Component Analysis: Algorithms and Applications这篇论文，虽然是00年的，但是很经典。一些亮点如下：

1. 两个变量独立的最重要性质：

对于两个独立变量 ，给定任意两个函数  一定满足：                 (1)

而两个变量非相关的定义是：            (2)

两个独立变量一定非相关，而非相关变量不一定独立。 比如  有等概率取到4个值 (0,1),(0,-1),(1,0),(-1,0)，则这两个变量是相关的但不是独立的：满足(2)式，但当  时(1)式不成立。

2. 如何从混淆过的实际观测信号x得到初始信号s：

假设 x = As，在只知道x，而不知道A和s的情况下，这看起来显然是不可能的事情。不过ICA做出了一个很重要的假设，就是：初始信号s一定不是满足高斯分布的。为什么如此？这里给一个通过x来求s的例子，就明白了。

例子1： 假设有两个变量满足如下概率分布：

   

这这两个变量的联合概率图为：

若对这两个变量作一个 y = A_0*x，

的变换，则联合概率图变为：

这是一个顶点为 的平行四边形，表明转换后的信号x_1和x_2已经不是独立的了（在顶点x_1确定下来，x_2只能取一个值)。这时便可估计A_0，可求得其边的方向刚好是A_0的两个列向量，如此A_0便被估计出来，再由此可估计出原信号s。

而这是s_1,s_2均为非高斯分布的情况，如果它是高斯分布呢？

当 mixing matrix A 正交时，x_1和x_2也为高斯分布，则这时的联合概率图为：

 

由于x_1和x_2的联合分布与s_1与s_2相同，此时变换已经不是identifiable的了。故初始信号s_1和s_2不能是高斯分布。（其实只有一个是还是可以的）

前面说了这么多，其实就是想表达，我们的初始信号s_i一定最不接近高斯分布的，那我们用  来估计s，其实就是找到一个矩阵A^{-1}，它与x相乘得到的向量最不接近高斯分布(文中叫 nongaussian 值最大）。

此时再给一个 nongaussian 的度量标准，原问题便转化为一个最优化问题，用EM算法来解就可以了。