ICA（1）

前提背景：
几天前，一位和蔼可亲的老师给了我一份ICA资料，事情是这样的……
当时正纠结于信号去噪的问题，导师让我写一篇与此相关的论文，我没按时完成任务，这不，一直在纠结呢，然后最近在翻译一些书，然后一次偶然的机会，我就向一位老师问起这个问题了：小波变换用于去噪有一个常规思路就是，
信号->小波变换->挑选系数
挑选系数：区分哪些是信号，哪些是噪声，用信号小波分解系数来重构，从而达到去噪的目的。
然后经过讨论，老师提到到ICA。我如发现宝藏一般，两眼放光。然后估计老师看我求知若渴，就直接给我一份资料。
主要内容：
ICA主要是针对几个问题提出来的，这几个问题中最让我难忘的就是鸡尾酒会问题，其实归根结底是盲源分离。
ICA最根本的思想就是把一个混合物，看成是一个个纯净物组合而成，但注意，这里不是化合物不发生化学反应哈……
然后揭示了一个纯净物组合成混合物的方法，

整体信号：Y=AX;单个信号点：yi=Aixi

，这个表示有没有觉得很熟悉？对的！和稀疏表示好相似！
然后开始推倒这个A的求法，用的是最大似然的思想。由于高斯分布的信号是不能用ICA方法进行分离，而日常生活中所碰到的大部分信号都有自己稳定的信号分布规则，不般不呈现高斯分布。
理由：若为高斯分布，令 R是正交阵 。如果将 A替换成 A’。y分布没变，因此 x仍然是均值为 0，协方差

E(x′(x′))=E(A′yyT(A′)T)=E(ARyyT(AR)T)=AAT

因此，不管混合矩阵是 A还是 A’，x的分布情况是一样， 那么就无法确定混合矩阵也
所以可以通过这一点来判别信号，然后延伸到了衡量信号是否为高斯分布的问题上，有这样一些判别方法，峭度系数(正态分布的峭度为3)，还有最大熵（正态分布具有最大熵）。
kurtosis：

kurt(y)=E(y4)−3(E(y2))2

负熵：

J(y)=H(ygauss)−p(x)logp(x)

然后假设信号服从sigmod分布

g(s)=11+e−s

推导了一些公式，
1）从p(y)推导p(x);

Fx(x)=P(X≤x)=P(Ay≤x)=P(y≤Wx)=Fy(Wx)p(x)=F′x(x)=F′y(Wx)=|W|P(y)=|W|∏i=1TP(yi)

2)由p(x)代入负熵的公式得似然函数；

l(w)=∑i=1m(∑j=1nlog′(wTjxi)+log|w|)

3）似然函数求导得目标函数；

⎛⎝⎜⎜⎜⎜⎜1−2g(WT1X(i))1−2g(WT2X(i))⋮1−2g(WTnX(i))⎞⎠⎟⎟⎟⎟⎟+(WT)−1

最后最大化目标函数，这就是最大似然函数方法的基本思路，但到了这里，我遇到一个问题，就是迭代，原文公式如下；

W：=W+α⎛⎝⎜⎜⎜⎜⎜⎛⎝⎜⎜⎜⎜⎜1−2g(WT1X(i))1−2g(WT2X(i))⋮1−2g(WTnX(i))⎞⎠⎟⎟⎟⎟⎟+(WT)−1⎞⎠⎟⎟⎟⎟⎟

解释是后面的w是上次的结果，前面的w是更新后的结果。w需要赋初值。稍微有点糊涂。因为一般情况难道不是，用EM算法对上面的目标函数最大化么？然后这个迭代的过程放到这里，我反而有点晕了，后来给自己的解释是，这个式子相当于告诉我们如何获取最优值，就好像说，是类似于EM的核心。
最后感谢z老师，感谢您给的资料~
学习的过程中，我再次感到数学知识的不足，遇到了一个矩阵求导，不明不白，越看越晕。这个局面我要在未来一年内打破！
shsf！