MATLAB计算Mutual information(互信息)函数

1. 概述

参考 http://blog.csdn.net/m_buddy/article/details/72818227 

首先信息熵的计算公式如下

其中I(X)表示X的信息量

MATLAB计算Mutual information(互信息)函数_第1张图片

:这里对数所使用的底,通常是 2, 自然常数e,或是10。当b = 2,熵的单位是bit;当b = e,熵的单位是nat;而当 b = 10,熵的单位是dit。

p(xi)是xi发生的概率英文里面叫做probability mass function,一个随机产生的事件所包含的信息本体数量,只与事件发生的机率相关。事件发生的机率越低,在事件真的发生时,接收到的信息中,包含的信息本体越大。含义是概率为 0 的事件对应的信息大, 反之信息量少,取对数的原因是使得乘积变为求和。信息熵即为信息量的数学期望。

则X,Y的联合信息量可以表示为

平均互信息为互信息的数学期望

MATLAB计算Mutual information(互信息)函数_第2张图片

则公式可以推出


2. 代码

参考 http://blog.csdn.net/m_buddy/article/details/72818227

用的MATLAB 2012b,发现没有这个函数,官网提供的information theory包,需要编译cpp,编译cpp又需要安装SDK,然而试了安装SDK好多次都不成功,一套流程真让人奔溃。。

于是网上搜索代码整理成MATLAB可以用的计算函数VectorMI

-------------------------------------------------------------------------------------------------------

function [MI,mi] = VectorMI(u1,u2,wind_size)

% Calculate the mutual information of two vector

% the size of u1 and u2 must be equal

% wind_size:size of the window

if nargin<2

disp('Error: please input at least two parameters:u1, u2');

return

end

if nargin==2

wind_size=floor(power(length(u1),1/3)+0.5);

end

x = [u1, u2];

n = wind_size;

[xrow, xcol] = size(x);

bin = zeros(xrow,xcol);

pmf = zeros(n, 2);

for i = 1:2

minx = min(x(:,i));

maxx = max(x(:,i));

binwidth = (maxx - minx) / n;

edges = minx + binwidth*(0:n);

histcEdges = [-Inf edges(2:end-1) Inf];

[occur,bin(:,i)] = histc(x(:,i),histcEdges,1);

pmf(:,i) = occur(1:n)./xrow;

end

% Calculate the joint probability density of u1 and u2

jointOccur = accumarray(bin,1,[n,n]);

%(xi?yi) The number of two data falling into the n * n aliquot is the joint probability density

jointPmf = jointOccur./xrow;

Hx = -(pmf(:,1))'*log2(pmf(:,1)+eps);

Hy = -(pmf(:,2))'*log2(pmf(:,2)+eps);

Hxy = -(jointPmf(:))'*log2(jointPmf(:)+eps);

MI = Hx+Hy-Hxy;

mi = MI/sqrt(Hx*Hy);

--------------------------------------------------

3. MI可以解答非线性的关系

参考   http://blog.sina.com.cn/s/blog_a16150e90101f2lm.html

今天计算了一个例子,是概率书上对于皮尔逊相关系数不能解决线性关系的例子:

n=1:1000;

x=cos(n');

y=cos(n'+pi/2);

[MI,zMI] = x_calcelateMI([x,y],30)

C=corr(x,y)

结果:

zMI =

0.5719

C =

-9.0316e-04

其中 x_calcelateMI是我自己计算MI的函数zMI是标准化的互信息,c是相关系数,理论上c是0,结果也是十分接近于0,但可以看出互信息很高,说明互信息可以很好的衡量非线性关系,验证了我的想法。


4. 遇到的问题

参考  http://blog.sina.com.cn/s/blog_542a1e4a010130mk.html

增加路径界面方式:

另外一点要提示的是,如果自己写的函数要运行的话,需要在面板上 add path

首 先把主界面调出来,有两种方式,一种是在命令窗口输入pathtool,另一种是在matlab菜单调用(File -> Set Path…)。打开主界面后,相信不用太多解释了。Add Folder… 或者 Add with subfolders… 就可以了,添加完毕后,如果需要保存该路径,则在close前save一下就可以了。

这种方式的好处是如果路径有问题,matlab会马上报错,告诉用户添加失败。

找不到m文件的问题:

但是不是里面生效,所以还得rehash toolbox 

如 果你已经把工具箱正确添加到搜索路径下,这种情况一般不会发生。也就是说,通过“文件夹copy -> 运行matlab ->添加路径”步骤后,该文件夹下所有文件应该都可以访问到。但是,当你对该文件夹下的m文件更新(包括修改和新增)了以后,此时如果你不重启 matlab,则可能会出现找不到m文件的问题(特别是该工具箱中的文件没有依赖关系,它们只是被放在一起方便调用,当你新增一个m文件到该文件夹下而不 重启matlab的时候,会造成这一新增m文件访问失败)。解决这个问题的方法之一显然是重启matlab,如果你不想重启,也可用第二个方法:在命令窗 口输入: rehash toolbox,“强制”matlab刷新toolbox目录下的所有文件,这样就可以正确访问了。

你可能感兴趣的:(MATLAB计算Mutual information(互信息)函数)