机器学习（十三）——独立成分分析(ICA)

13 独立成分分析(ICA)

和PCA类似找到一组新的向量组来表示原样本数据，但是和PCA又完全不同。

先假设有某个样本数据 $s\in R^n$，这个数据是由 $n$ 个独立的来源（independent sources）生成的。我们观察到的则为：

$$x=As,$$

上面式子中的 $A$ 是一个未知的正方形矩阵（square matrix），叫做混合矩阵。 通过重复的观察，我们就得到了训练集 $\{x^{(i)};i=1,...,m\}$，然后我们的目的是恢复出生成这些样本 $x^{(i)}=A{s}^{(i)}$ 的原始声音源 $s^{(i)}$ 。

$s^{(i)}$ 就是一个 $n$ 维度向量表示第$i$次录音，而 $s_j^{(i)}$ 是第 $j$ 个说话者在第 $i$ 次录音时候发出的声音。$x^{(i)}$ 同样也是一个 $n$ 维度向量，而 $x_j^{(i)}$是第 $j$ 个话筒在第 $i$ 次录制到的声音。(每次的录音是一个样本数据$x^{(i)}$，每个话筒录制到的声音是一个特征。)

设混合矩阵 $A$ 的逆矩阵 $W=A^{-1}$ 是混合的逆向过程，称之为还原矩阵。 那么咱们的目标就是找出这个 $W$，这样针对给定的话筒录音 $x^{(i)}$，我们就可以通过计算 $s^{(i)}=W{x}^{(i)}$ 来还原出来声音源。为了方便起见，我们就用 $w_i^T$ 来表示 $W$ 的第 $i$ 行，这样就有：
$$w=\left[\begin{array}{c}-w_1^T-\\ ⋮\\ -w_n^T-\end{array}\right]$$
这样就有 $w_i\in R^n$，通过计算 $s_j^{(i)}=w_j^T{x}^{(i)}$ 就可以恢复出第 $j$ 个声源了。

概率密度的线性变换

若 $s$ 是一个向量值的分布，密度函数为 $p_s$，而 $x=As$，其中的 $A$ 是一个可逆的正方形矩阵，那么 $x$ 的密度函数则为：
$$p_x(x)=p_s(s)\cdot |W|=p_s(Wx)\cdot |W|$$
上式中 $W=A^{-1}$。

不严谨证明：
$$\begin{array}{rl}& P(x⩽t)={\int }_{-\infty }^t{p}_x(x)dx\\ \Rightarrow & P(As⩽t)={\int }_{-\infty }^{Wt}{p}_x(As)d(As)\\ \Rightarrow & P(s⩽Wt)={\int }_{-\infty }^{Wt}{p}_x(As)\cdot |A|ds={\int }_{-\infty }^{Wt}{p}_s(s)ds\end{array}$$
所以可以得出：
$$\begin{array}{rl}& p_x(As)\cdot |A|=p_s(s)\\ \Rightarrow & p_x(x)\cdot |A|=p_s(Wx)\\ \Rightarrow & p_x(x)=p_s(Wx)\cdot |W|\end{array}$$

独立成分分析算法

我们假设每个声源的分布 $s_i$ 都是通过密度函数 $p_s$ 给出，然后联合分布 $s$ 则为：
$$p(s)=\prod _{i=1}^n{p}_s(s_i)$$
利用上一节推导的共识，这就表明对 $x=As=W^{-1}s$ 的密度函数为：
$$p(x)=\prod _{i=1}^n{p}_s(w_i^{T}x)\cdot |w|$$
剩下的就只需要去确定每个独立的声源的密度函数 $p_s$ 了。

我们假设概率函数是$g(s)=1/(1+e^{-s})$。这样就有，$p_s(s)=g^{\prime }(s)$。

$W$ 是一个正方形矩阵，是模型中的参数。给定一个训练集合 $\{x^{(i)};i=1,...,m\}$，然后对数似然函数（log likelihood）则为：
$$l(W)=\sum _{i=1}^m(\sum _{j=1}^{n}log{g}^{\prime }(w_j^T{x}^{(i)})+log|W|))$$
我们要做的就是上面这个函数找出关于 $W$ 的最大值。通过求导，然后利用前面讲义中给出的定理 ${\nabla }_W|W|=|W|(W^{-1}{)}^T$，就可以很容易推导出随机梯度上升公式。对于一个给定的训练样本 $x^{(i)}$，这个更新规则为：
$$W:=W+\alpha \left(\begin{array}{c}\left[\begin{array}{c}1-2g(w_1^T{x}^{(i)})\\ 1-2g(w_2^T{x}^{(i)})\\ ⋮\\ 1-2g(w_n^T{x}^{(i)})\end{array}\right]x^{(i)T}+(W^T{)}^{-1}\end{array}\right)$$
上式中的 $\alpha$ 是学习速率。

在算法收敛之后，就能计算出 $s^{(i)}=W{x}^{(i)}$，这样就能恢复出原始的音源了。