机器学习-独立成分分析(ICA)

1. 独立成分分析(Independent Components Analysis)

• 1.1 概念
  独立成分分析是从观测变量中分离出独立元素，观测变量的维度(数目)要和独立元素维度(数目)相同。模型表示如下
  $$\begin{gathered} x=As（x,s\in R^n，A\in R^{n\ast n}） \\ x为观测变量,s中各个分量彼此独立 \\ s=A^{-1}x=Wx \end{gathered}$$

• 1.2 如何求解模型
  已知的变量只有$x$，需要根据$x$值推导出矩阵$A$。如果不增加其它设定，是无法仅根据$x$求解出矩阵A，因此需要增加其它条件，来建立合适的$p(x)$概率密度模型，然后再通过极大似然估计求解矩阵$A$。
  先说因子分析的几个限制
  （1）无法区分各个独立成分的顺序
  （2）不能恢复独立成分的大小($2A.\frac{1}{2}s=As$）
  （3）若独立成分是高斯分布，则不能恢复
  若要求解矩阵$A$, 需要预先假设原独立成分的概率模型，不过和因子分析不同的是，这里假设的是分布函数.实际应用时，多数情况都可以假设$s$中每一个元素的分布函数都服从$F(s_j)=\frac{1}{1+{\exp }^{-s_j}}$，此时变量$s$的概率密度函数可以表示为
  $$\begin{gathered} p(s)=\prod _{j=1}^{n}p(s_j)=\prod _{j=1}^n{F}^{\prime }(s_j)=\prod _{j=1}^n{F}^{\prime }(W_j^{T}x) \\ {W}_j表示矩阵W第j行向量 \end{gathered}$$

根据雅可比式，可以得到$p(x)$表达式为
$$p(x)=p(s)J(s\to x)=p(s)|w|=[\prod _{j=1}^n{F}^{\prime }(W_j^{T}x)]|W|$$

这样模型就建立了，接下来就可以使用对数似然函数求解
$$\begin{gathered} l(W)=\sum _{i=1}^m[(\sum _{j=1}^n\log F^{\prime }(W_j^T{x}^{(i)}))+\log |W|] \\ W:=W+\alpha (\left[\begin{array}{c}1-2F(W_1^T{x}^{(i)})\\ ⋮\\ 1-2F(W_n^T{x}^{(i)})\end{array}\right]x^{(i{)}^T}+(W^T{)}^{-1}) \end{gathered}$$