ICA算法

一、盲信号处理(blind signal processing)

   在系统的传输特性未知条件下，从系统的输出信号估计系统的输入信号和系统的传输特性 

基本问题表述：已知多输入多输出的非线性动态系统的输出信号x(t),要找到一个稳定的逆系统（重构系统），以估计出原始的源信号s(t)；也即是说估计的y(t)要尽可能的和源信号误差最小。

上述模型：x(t)=f(s(t),v(t))  

                    y(t)=g(x(t))

此式f、g是一种非线性变换！非线性系统求解是信号领域研究的难点所在！

目前绝大多数的盲信号处理研究限制在线性混合系统的情况。如下的模型：

(1)混合系统是线性即时混合系统，噪声为加性噪声

      x(t)=As(t)+v(t)   

其中    x(t)为观测信号，A为混合矩阵（假设与时间无关），s(t)源信号 ，v(t)为噪声

上述x(t)求解s(t)过程称为盲信号分离

(2) 混合系统是卷积系统，噪声为加性噪声

x(t)=H(t)*s(t)+v(t)

其中H(t)为传输函数矩阵；*为卷积

上述由x(t)求解s(t)的过程为盲解卷（blind deconvolution）；x(t)求解H(t)过程为盲辨识（blind identification）；x(t)求解H(t)的逆H^-1(t),使得H(t)*H^-1(t)=I的过程为盲均衡（blind equalization）

（在盲信号处理的一般模型下这4个都归为盲信号分离框架）

应用（目的）：

（1）语音：鸡尾酒会问题：人的大脑可以在多人说话或者嘈杂的环境中有选择性的接收他感兴趣的说话人的语音；

（2）语音信号盲分离（说话人数（源信号）大于录音器个数（观测信号））

（3）生物医学：从体表ECG提取房颤信息

（4）图像领域

盲分离算法的种类：

主线：盲分离的准则、搜索算法、可分离性

二、ICA（Independent Component Analysis）算法：

2.1原理：

在盲分离信号中假设无任何假设条件和先验知识，仅仅由观测信号确定源信号或者混合系统，在数学原理上很难做到的。

而ICA是：假设条件：源信号矢量s的各个分量之间是相互统计独立；允许一定的模糊性（信号的幅值和信号分量的顺序不确定性）；在此情况下盲分离是可解的；这也就是ICA为什么叫做独立分量分析的原因。

   模型：x=As  相比上述的盲分离的区别是忽略噪声

假设条件具体为：

(1)源信号矢量s的各分量si之间是统计独立的

(2)源信号矢量最多只有一个分量为高斯随机变量(因为非高斯性越强则信号源的独立性越好)

(3)混合矩阵是适定的（m=n）

可以找到一个线性变换y=Bx   （y为估计信号，x为观测信号，也即是说通过混合矩阵使得由x估计出y）使得y=Cs （y为估计信号，s为源信号，C为一个非零矩阵也就是说估计的信号和源信号各分量的排列顺序和尺度因子可能不同，但是信号和某个si波形是相同的）

2.2算法框架：

主线：盲分离的准则、搜索算法、可分离性

框架：可分离性定理->分离准则->搜索算法

(1)盲分离准则 

  最大似然函数、informax（信息最大化）、最小互信息、最大峭度绝对值准则

(2)盲信号分离搜索算法

  自然梯度算法、相对梯度算法、快速不动点算法

(3)可分性定理

分离系统输出应满足的条件以及源分量应满足的条件称为称为分离准则。

包含数据模型和对先验信息的假设

fastICA是对搜索算法的改进！改进之处在于：改善了传统梯度的收敛速度

2.3可分性定理：1、在m路观测信号的欠定情况下，要将观测信号分离出m组信号，混合矩阵A的秩必须为m

2、能分离出的信号分量个数等于混合矩阵独立矢量的个数，独立矢量的每一个都独立于其它n-1个

2.4分离准则：

选择目标函数，依据什么准则？

1、最大似然：

使得目标函数：求对数似然函数的最大时的B值

2、informax准则（information maximization）

观测信号为x，输出为y，目标函数为，网络加权系数bi

sigmoid函数

调节解混矩阵B的列向量使得输出矢量y的熵最大（信息最大化）

目标函数：求目标函数最大式的B值

3.最小互信息准则

也即是当输出矢量yi的互信息最小时，也即是I(y)最小时，yi各分量的独立性最强

目标函数：其中B为解混矩阵，也即是要求目标函数最大时的B值。

4.最大峭度绝对值准则

目标函数：

对观测数据白化处理后的自相关函数为单位矩阵，再用白化后的处理进行盲分离

具体为：从源信号s的约束性考虑转化为观测信号x的约束性问题

2.4盲分离搜索算法：

1.自然梯度

黎曼

2.相对梯度

泰勒级数展开+近似（高阶项不考虑）

3.快速不动点

拉格朗日乘子法

可参考自然梯度、一般梯度、随机梯度、相对梯度区别https://www.zhihu.com/question/21923317

2.5算法的优缺点:

实现信号的盲分离

缺点是：信号分量的分离顺序不一致或者是幅值和源信号不一致

在假设性条件不满足情况下，算法可能不适用

 

数学推导过程

 

需要的数学知识：

 

【1】ICA(独立成分分析)在信号盲源分离中的应用 https://blog.csdn.net/cai2016/article/details/52983473

 【2】盲信号分离及在心电和语音信号处理上的应用  http://xueshu.baidu.com/s?wd=paperuri%3A%2820875fb59a4c9fc5f8154810d948a6c4%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fcdmd.cnki.com.cn%2FArticle%2FCDMD-10358-2007097171.htm&ie=utf-8&sc_us=11299018090548476813