这篇博客记录了学习独立成分分析的过程,方便以后查询。
一、引言
参考文献《独立成分分析方法综述》(杨竹青等)《独立成分分析基本原理与发展》(卜涛)。独立成分分析最开始是解决盲信号处理的盲源分离问题,其中典型的例子是“鸡尾酒会”例子:假想一下, 在一个房间里的不同位置放着两个麦克风, 同时有两个人说话. 两个麦克风能同时记录下两个时间信号, 仅用这两个记录的信号来估计出原来的两个语音信号,称作鸡尾酒会问题。
二、模型的定义
一幅图可以很形象地说明上面的论述:
三、ICA算法的研究
第二部只是讲了ICA模型的框架,但是应该如何仅通过x来求解混系统呢?ICA算法的研究可分为基于信息论准则的
迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性。基于信息
论的方法研究中,各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算
法, Infomax算法,最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
这部分内容涉及到比较多的数学理论,我只是大概浏览了一遍。
四、fastica算法
参考网上的文章《基于负熵最大化的FastICA算法》,里面涉及到算法的推导,我只是勉强可以看懂,然后下面贴出
算法的流程和matlab源代码:
相关的matlab程序如下:经测验可以运行
%下程序为ICA的调用函数,输入为观察的信号,输出为解混后的信号
function Z=ICA(X)
%-----------去均值---------
[M,T] = size(X); %获取输入矩阵的行/列数,行数为观测数据的数目,列数为采样点数
average= mean(X')'; %均值
for i=1:M
X(i,:)=X(i,:)-average(i)*ones(1,T);
end
%---------白化/球化------
Cx = cov(X',1); %计算协方差矩阵Cx
[eigvector,eigvalue] = eig(Cx); %计算Cx的特征值和特征向量
W=eigvalue^(-1/2)*eigvector'; %白化矩阵
Z=W*X; %正交矩阵
%----------迭代-------
Maxcount=10000; %最大迭代次数
Critical=0.00001; %判断是否收敛
m=M; %需要估计的分量的个数
W=rand(m);
for n=1:m
WP=W(:,n); %初始权矢量(任意)
% Y=WP'*Z;
% G=Y.^3;%G为非线性函数,可取y^3等
% GG=3*Y.^2; %G的导数
count=0;
LastWP=zeros(m,1);
W(:,n)=W(:,n)/norm(W(:,n));
while abs(WP-LastWP)&abs(WP+LastWP)>Critical
count=count+1; %迭代次数
LastWP=WP; %上次迭代的值
% WP=1/T*Z*((LastWP'*Z).^3)'-3*LastWP;
for i=1:m
WP(i)=mean(Z(i,:).*(tanh((LastWP)'*Z)))-(mean(1-(tanh((LastWP))'*Z).^2)).*LastWP(i);
end
WPP=zeros(m,1);
for j=1:n-1
WPP=WPP+(WP'*W(:,j))*W(:,j);
end
WP=WP-WPP;
WP=WP/(norm(WP));
if count==Maxcount
fprintf('未找到相应的信号');
return;
end
end
W(:,n)=WP;
end
Z=W'*Z;
end
clc,clear;
N=200;n=1:N;%N为采样点数
s1=2*sin(0.02*pi*n);%正弦信号
t=1:N;s2=2*square(100*t,50);%方波信号
a=linspace(1,-1,25);s3=2*[a,a,a,a,a,a,a,a];%锯齿信号
s4=rand(1,N);%随机噪声
S=[s1;s2;s3;s4];%信号组成4*N
A=rand(4,4);
X=A*S;%观察信号
%源信号波形图
figure(1);subplot(4,1,1);plot(s1);axis([0 N -5,5]);title('源信号');
subplot(4,1,2);plot(s2);axis([0 N -5,5]);
subplot(4,1,3);plot(s3);axis([0 N -5,5]);
subplot(4,1,4);plot(s4);xlabel('Time/ms');
%观察信号(混合信号)波形图
figure(2);subplot(4,1,1);plot(X(1,:));title('观察信号(混合信号)');
subplot(4,1,2);plot(X(2,:));
subplot(4,1,3);plot(X(3,:));subplot(4,1,4);plot(X(4,:));
Z=ICA(X);
figure(3);subplot(4,1,1);plot(Z(1,:));title('解混后的信号');
subplot(4,1,2);plot(Z(2,:));
subplot(4,1,3);plot(Z(3,:));
subplot(4,1,4);plot(Z(4,:));xlabel('Time/ms');
五、在图像处理中的用途
这里先讲ICA用于提取图像特征的用法,看到有关于ICA提取人脸特征,进行人脸识别的代码。在这里,ICA算法与
PCA类似,先通过fastica算法计算出w,然后用训练集和测试集分别与w相乘(提取特征),最后通过分类器比较提取的
特征,从而完成识别和分类的过程。但要注意的是,形式上是与PCA类似的,但理论分析上,貌似ICA要比PCA高级一点,
因为主成分分析和奇异值分解是基于信号二阶统计特征的分析方法,而ICA是基于信号告诫统计特性的分析方法,经过ICA
分解出的各信号分量之间是相互独立的。