独立成分分析FastICA算法原理

独立成分分析FastICA算法原理

首先对于d维的随机变量$\mathbf{x}\in R^{d\times 1}$，我们假设他的产生过程是由相互独立的源$\mathbf{s}\in R^{d\times 1}$，通过$A\in R^{d\times d}$线性组合产生的

$$\mathbf{x}=\mathbf{A}\mathbf{s}$$

如果s的服从高斯分布的，那么故事结束，我们不能恢复出唯一的s，因为不管哪个方向都是等价的。而如果s是非高斯的，那么我们希望找到w从而$s={\mathbf{w}}^T\mathbf{x}$，使得$s$之间的相互独立就可以恢复出s了，我将在后面指出，这等价于最大化每个$s$的非高斯性。在这之前先说一下为什么ICA可以恢复出原始的源？

这里涉及到一个重要的定理：

Darmois - Skitovitch theorem 假设$S_1,S_2,...,S_n$是相互独立的源噪声,对于两个随机变量

$$\begin{gathered} X={\alpha }_1{S}_1+...+{\alpha }_n{S}_n \\ Y={\beta }_1{S}_1+...+{\beta }_n{S}_n \end{gathered}$$

若X与Y独立，则一定对于任意的${\alpha }_i{\beta }_i\ne 0$,其$S_i$一定是高斯分布。

这个定理揭示了两个事实：

1. 如果我们知道$S_i$不是高斯分布，那么如果X,Y要独立，只能是${\alpha }_i{\beta }_i=0$，这将意味着只要所有的$S$都是非高斯，那么如果我们能

2. 另一个稍微反直觉的事情是，即使X,Y都由相同的高斯分布组成，那么X，Y也是有可能独立的。举个简单的例子，假设$S$都是标准高斯分布，并设，$X=S_1+S_2,Y=S_1+a{S}_2$,他们的协方差为$\text{cov}(X,Y)=\text{var}(S_1)+a\text{var}(S_2)$，显然当$a=-1$时，他们的协方差等于0，又因为X,Y是高斯分布，因此X,Y是独立的。

根据这个定理，可以推出ICA的有效性。假设n=2，S是非高斯的，于是，在ICA中

$$\begin{gathered} X_1={\alpha }_1{S}_1+{\alpha }_2{S}_2 \\ {X}_2={\beta }_1{S}_1+{\beta }_2{S}_2 \end{gathered}$$

接下来将演示，信号源是怎么被“分离”出来的。我们希望找到一个旋转，使得X经过变换后独立，即$Z_1={\mathbf{w}}_1^T{X}_1,Z_2={\mathbf{w}}_2^T{X}_2$，且$Z_1\perp Z_2$，于是变换后的结果为

$$\begin{gathered} Z_1={\alpha }_1^{\prime }{S}_1+{\alpha }_2^{\prime }{S}_2 \\ {Z}_2={\beta }_1^{\prime }{S}_1+{\beta }_2^{\prime }{S}_2 \end{gathered}$$

根据定理，一定有${\alpha }_1^{\prime }{\beta }_1^{\prime }={\alpha }_2^{\prime }{\beta }_2^{\prime }=0$，由于S的顺序无法确定，不妨假设${\alpha }_1^{\prime }=0$，于是${\beta }_1^{\prime }\ne 0$，而且${\alpha }_2^{\prime }\ne 0$（否则Z1就变成0了）,于是${\beta }_2^{\prime }=0$，事实上只有这两种可能性：

$$\begin{gathered} Z_1=0S_1+{\alpha }_2^{\prime }{S}_2 \\ {Z}_2={\beta }_1^{\prime }{S}_1+0S_2 \end{gathered}$$

和

$$\begin{gathered} Z_1={\alpha }_1^{\prime }{S}_1+0S_2 \\ {Z}_2=0S_1+{\beta }_2^{\prime }{S}_2 \end{gathered}$$

从而$S_1$和$S_2$就被奇迹般分离了！唯一缺点就是不知道分离之后的顺序而已！

然后我们实际做的时候其实是去最大化高斯性的，他跟独立性有什么关系？如果要s相互独立，那么首先考虑的是他们的互信息：

$$I(s_1,...,s_n)=\sum _{i=1}^{n}H(s_i)-H(S)$$

因为$s_i={\mathbf{w}}^T\mathbf{x}$，因此$\log P_S=\log P_X-\log |\det W|$。现在，如果W是一个旋转矩阵（其特征值全是1），那么$\det W=1$，于是$\log |\det W|=0$，因此，$H(S)$与W无关，可以看做是常数，因此，最大化互信息将等价于最小化每个方向下的熵$H(s_i)$，而这其实本质上就是非高斯性，因为高斯的熵是最大的。

如果接来下有两个问题，1. 如何保证W是旋转矩阵。W是旋转矩阵这个性质很重要，他决定了非高斯的优化方法的正确性。但是如何保证这个W是旋转矩阵？其实我们可以通过的X进行白化，使得这个W变成一个旋转矩阵。2.如何具体算非高斯性？接下来先说下白化操作

白化 (Whitening)

求解ICA的第一步是对x白化得到互不相关的列$\tilde{\mathbf{x}}={\mathbf{E}\mathbf{D}}^{-1/2}{\mathbf{E}}^T\mathbf{x}$，这一步一般是用PCA来完成的

$$\tilde{\mathbf{x}}={\mathbf{E}\mathbf{D}}^{-1/2}{\mathbf{E}}^T\mathbf{A}\mathbf{s}=\tilde{\mathbf{A}}\mathbf{s}$$

其中EDE其实的协方差x的特征值分解，即${\mathbf{x}\mathbf{x}}^T={\mathbf{A}\mathbf{A}}^T={\mathbf{E}\mathbf{D}\mathbf{E}}^T$。白化的一个重要作用就是这个$\tilde{\mathbf{A}}$是一个正交矩阵。利用这个正交性，可以证明$E\left(\tilde{\mathbf{x}}{\tilde{\mathbf{x}}}^T\right)=I$，也就是每个维度都是线性无关的：

$$\tilde{\mathbf{x}}{\tilde{\mathbf{x}}}^T={\mathbf{E}\mathbf{D}}^{-1/2}{\mathbf{E}}^T{\mathbf{A}\mathbf{s}\mathbf{s}}^T{\mathbf{A}}^T{\mathbf{E}{\mathbf{D}}^{-1/2}\mathbf{E}}^T={\mathbf{E}\mathbf{D}}^{-1/2}{\mathbf{E}}^T{\mathbf{E}\mathbf{D}{\mathbf{E}}^{\mathbf{T}}\mathbf{E}{\mathbf{D}}^{-1/2}\mathbf{E}}^T=I$$

这个白化使得我们需要学习的参数减少了一半，为什么呢，因为正交矩阵的自由度是$\frac{n(n-1)}{2}$，而原始的矩阵的自由度是$n^2$.现假设后面的x都是经过白化处理的数据。

FastICA的迭代算法

经过白化后，那么ICA要做的就是就是要找到一个最优方向$\mathbf{w}$，使得改方向的非高斯性最大

$$\max J\left({\mathbf{w}}^T\mathbf{x}\right)$$

因此，这只是一个优化问题。那么怎么衡量非高斯性呢，我们可以用负熵来衡量：

$$J(\mathbf{y})=H({\mathbf{y}}_{gauss})-H(\mathbf{y})$$

其中${\mathbf{y}}_{gauss}$是高斯分布，其协方差矩阵跟$y$是一样的，显然当y是高斯分布的时候等于0.所以当J越大非高斯性就越大。然而这个东西不好算，所以有很多不同的近似方法,一个经典的方法是

$$J(y)\approx \frac{1}{12}E{\left\{y^3\right\}}^2+\frac{1}{48}\mathrm{kurt}(y{)}^2$$

而在fastICA中，使用的是：

$$J_G(\mathbf{w})={\left[E\left\{G\left({\mathbf{w}}^T\mathbf{x}\right)\right\}-E\{G(\nu )\}\right]}^2$$

其中$E\left({\left({\mathbf{w}}^T\mathbf{x}\right)}^2\right)=E\left({\mathbf{w}}^T{\mathbf{x}\mathbf{x}}^T\mathbf{w}\right)=E\left({\mathbf{w}}^T\mathbf{w}\right)=\Vert \mathbf{w}{\Vert }^2=1$,这是为了限制目标函数不要到无穷大。那么这个w怎么求呢？我们看看他在约束下的导数：

$$\frac{\partial J_G(\mathbf{w})-\beta \left(\Vert \mathbf{w}{\Vert }^2-1\right)}{\partial \mathbf{w}}=2E\left\{\mathbf{x}{G}^{\prime }\left({\mathbf{w}}^T\mathbf{x}\right)\right\}-2\beta \mathbf{w}=0$$

当这个方程等于0的时候就得到最优的w了。此外$\beta$的值可以用最优的w反推出来，假设$w_0$是最优的，一定有$E\left\{\mathbf{x}{G}^{\prime }\left({\mathbf{w}}_0^T\mathbf{x}\right)\right\}-\beta {\mathbf{w}}_o=0⟹\beta =E\left\{{\mathbf{w}}_0^{\mathbf{T}}\mathbf{x}{G}^{\prime }\left({\mathbf{w}}_0^T\mathbf{x}\right)\right\}$。于是这其实是一个方程求根的问题，我们可以用牛顿法解决：

$$x_{n+1}=x_n-\frac{f(x_n)}{f^{\prime }(x_n)}$$

简单地介绍一下，我们知道方程的根就是他跟x轴的交点，那如果我们用切线来近似曲线，那么可以“认为“切线与x轴的交点就是根，如果不是的话，我们可以一直重复这个流程直到收敛。

$$\frac{\partial E\left\{\mathbf{x}{G}^{\prime }\left({\mathbf{w}}^T\mathbf{x}\right)\right\}-\beta \mathbf{w}}{\partial w}=E\left\{{\mathbf{x}\mathbf{x}}^T{G}^{\prime \prime }\left({\mathbf{w}}^T\mathbf{x}\right)\right\}-\beta \mathbf{I}$$

其中用一个近似的方法$E\left\{{\mathbf{x}\mathbf{x}}^T{G}^{\prime \prime }\left({\mathbf{w}}^T\mathbf{x}\right)\right\}\approx E\left\{{\mathbf{x}\mathbf{x}}^T\right\}E\left\{G^{\prime \prime }\left({\mathbf{w}}^T\mathbf{x}\right)\right\}=E\left\{G^{\prime \prime }\left({\mathbf{w}}^T\mathbf{x}\right)\right\}\mathbf{I}$，最终用牛顿法的公式

$${\mathbf{w}}_{n+1}={\mathbf{w}}_n-\frac{E\left\{\mathbf{x}{G}^{\prime }\left({\mathbf{w}}_n^T\mathbf{x}\right)\right\}-\beta {\mathbf{w}}_n}{E\left\{G^{\prime \prime }\left({\mathbf{w}}_n^T\mathbf{x}\right)\right\}-\beta \mathbf{I}}$$

我们用${\mathbf{w}}_n$而不是${\mathbf{w}}_0$来近似$\beta$就得到了递推公式：

$${\mathbf{w}}_{n+1}=\frac{\mathbf{E}\left\{{\mathbf{G}}^{\prime \prime }\left({\mathbf{w}}_{\mathbf{n}}^{\mathbf{T}}\mathbf{x}\right)\right\}{\mathbf{w}}_{\mathbf{n}}-E\left\{\mathbf{x}{G}^{\prime }\left({\mathbf{w}}_n^T\mathbf{x}\right)\right\}}{E\left\{G^{\prime \prime }\left({\mathbf{w}}_n^T\mathbf{x}\right)\right\}-\beta }$$

最后两边同时乘以$\beta -E\{G^{\prime \prime }\left({\mathbf{w}}_n^T\mathbf{x}\right)$可以进一步简化？论文里面这一步没看懂，希望看懂的告诉我。。。于是迭代公式就变成

$$\begin{gathered} {\mathbf{w}}_{n+1}=E\left\{\mathbf{x}{G}^{\prime }\left({\mathbf{w}}_n^T\mathbf{x}\right)\right\}-\mathbf{E}\left\{{\mathbf{G}}^{\prime \prime }\left({\mathbf{w}}_{\mathbf{n}}^{\mathbf{T}}\mathbf{x}\right)\right\}{\mathbf{w}}_{\mathbf{n}} \\ {\mathbf{w}}_{n+1}={\mathbf{w}}_n/\Vert {\mathbf{w}}_n\Vert \end{gathered}$$

这个就是fastICA所使用的迭代公式了。

最后，这个G到底是什么，常用的G:

$$\begin{array}{rl}{G}_1(u)& =\frac{1}{a_1}\log \cosh \left(a_{1}u\right)\\ G_1^{\prime }(u)& =\tanh \left(a_{1}u\right)\\ G_2(u)& =-\frac{1}{a_2}\exp \left(-a_2{u}^2/2\right)\\ G_2^{\prime }(u)& =u\exp \left(-a_2{u}^2/2\right)\\ G_3(u)& =\frac{1}{4}{u}^4\\ G_3^{\prime }(u)& =u^3\end{array}$$

其中$1\ge a_1\le 2,a_2\approx 1$，一般来说

• $G_1$是一般选择
• 如果独立成分s是非常超高斯的，那么用$G_2$会好一点
• 如果独立成分是sub-gaussian ，且没有异常值，则用$G_3$
• 如果要减少计算量，那么或许可以用$G_1$和$G_2$的线性组合

参考文献

[1] HYVÄRINEN A, OJA E. Independent component analysis: algorithms and applications[J]. Neural networks, Elsevier, 2000, 13(4–5): 411–430.

[2] HYVARINEN A. Fast and robust fixed-point algorithms for independent component analysis[J]. IEEE transactions on Neural Networks, IEEE, 1999, 10(3): 626–634.