[机器学习]（九）cs229之独立分量分析

这篇博客记录了学习独立成分分析的过程，方便以后查询。

一、引言

参考文献《独立成分分析方法综述》（杨竹青等）《独立成分分析基本原理与发展》（卜涛）。独立成分分析最开始是解决盲信号处理的盲源分离问题，其中典型的例子是“鸡尾酒会”例子：假想一下, 在一个房间里的不同位置放着两个麦克风, 同时有两个人说话. 两个麦克风能同时记录下两个时间信号, 仅用这两个记录的信号来估计出原来的两个语音信号,称作鸡尾酒会问题。

二、模型的定义

一幅图可以很形象地说明上面的论述：

三、ICA算法的研究

第二部只是讲了ICA模型的框架，但是应该如何仅通过x来求解混系统呢？ICA算法的研究可分为基于信息论准则的

迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息

论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算

法, Infomax算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。

这部分内容涉及到比较多的数学理论，我只是大概浏览了一遍。

四、fastica算法

参考网上的文章《基于负熵最大化的FastICA算法》，里面涉及到算法的推导，我只是勉强可以看懂，然后下面贴出

算法的流程和matlab源代码：

相关的matlab程序如下：经测验可以运行

%下程序为ICA的调用函数，输入为观察的信号，输出为解混后的信号
function Z=ICA(X)
%-----------去均值---------
[M,T] = size(X); %获取输入矩阵的行/列数，行数为观测数据的数目，列数为采样点数      
average= mean(X')';  %均值
for i=1:M
    X(i,:)=X(i,:)-average(i)*ones(1,T); 
end
%---------白化/球化------
Cx = cov(X',1);    %计算协方差矩阵Cx
[eigvector,eigvalue] = eig(Cx); %计算Cx的特征值和特征向量
W=eigvalue^(-1/2)*eigvector';   %白化矩阵
Z=W*X;   %正交矩阵
 
%----------迭代-------
Maxcount=10000;        %最大迭代次数
Critical=0.00001;   %判断是否收敛
m=M;                %需要估计的分量的个数
W=rand(m);
for n=1:m
    WP=W(:,n);  %初始权矢量（任意）
%     Y=WP'*Z;
%     G=Y.^3;%G为非线性函数，可取y^3等
%     GG=3*Y.^2;  %G的导数
    count=0;
    LastWP=zeros(m,1);
    W(:,n)=W(:,n)/norm(W(:,n));
    while abs(WP-LastWP)&abs(WP+LastWP)>Critical
        count=count+1;   %迭代次数
        LastWP=WP;      %上次迭代的值
       % WP=1/T*Z*((LastWP'*Z).^3)'-3*LastWP;
        for i=1:m
            WP(i)=mean(Z(i,:).*(tanh((LastWP)'*Z)))-(mean(1-(tanh((LastWP))'*Z).^2)).*LastWP(i);
        end
        WPP=zeros(m,1);
        for j=1:n-1
            WPP=WPP+(WP'*W(:,j))*W(:,j);
        end
        WP=WP-WPP;
        WP=WP/(norm(WP));
        
        if count==Maxcount
            fprintf('未找到相应的信号'); 
            return; 
        end
    end
    W(:,n)=WP;
end
Z=W'*Z;
end

clc,clear;
N=200;n=1:N;%N为采样点数
s1=2*sin(0.02*pi*n);%正弦信号
t=1:N;s2=2*square(100*t,50);%方波信号
a=linspace(1,-1,25);s3=2*[a,a,a,a,a,a,a,a];%锯齿信号
s4=rand(1,N);%随机噪声
S=[s1;s2;s3;s4];%信号组成4*N
A=rand(4,4);
X=A*S;%观察信号
 
%源信号波形图
figure(1);subplot(4,1,1);plot(s1);axis([0 N -5,5]);title('源信号');
subplot(4,1,2);plot(s2);axis([0 N -5,5]);
subplot(4,1,3);plot(s3);axis([0 N -5,5]);
subplot(4,1,4);plot(s4);xlabel('Time/ms');
%观察信号（混合信号）波形图
figure(2);subplot(4,1,1);plot(X(1,:));title('观察信号（混合信号）');
subplot(4,1,2);plot(X(2,:));
subplot(4,1,3);plot(X(3,:));subplot(4,1,4);plot(X(4,:));
 
Z=ICA(X);
 
figure(3);subplot(4,1,1);plot(Z(1,:));title('解混后的信号');
subplot(4,1,2);plot(Z(2,:));
subplot(4,1,3);plot(Z(3,:));
subplot(4,1,4);plot(Z(4,:));xlabel('Time/ms');

五、在图像处理中的用途

这里先讲ICA用于提取图像特征的用法，看到有关于ICA提取人脸特征，进行人脸识别的代码。在这里，ICA算法与

PCA类似，先通过fastica算法计算出w，然后用训练集和测试集分别与w相乘（提取特征），最后通过分类器比较提取的

特征，从而完成识别和分类的过程。但要注意的是，形式上是与PCA类似的，但理论分析上，貌似ICA要比PCA高级一点，

因为主成分分析和奇异值分解是基于信号二阶统计特征的分析方法，而ICA是基于信号告诫统计特性的分析方法，经过ICA

分解出的各信号分量之间是相互独立的。