1. 概述
参考 http://blog.csdn.net/m_buddy/article/details/72818227
首先信息熵的计算公式如下
其中I(X)表示X的信息量
注：这里对数所使用的底，通常是 2, 自然常数e，或是10。当b = 2，熵的单位是bit；当b = e，熵的单位是nat；而当 b = 10,熵的单位是dit。
p（xi）是xi发生的概率英文里面叫做probability mass function，一个随机产生的事件所包含的信息本体数量，只与事件发生的机率相关。事件发生的机率越低，在事件真的发生时，接收到的信息中，包含的信息本体越大。含义是概率为 0 的事件对应的信息大, 反之信息量少，取对数的原因是使得乘积变为求和。信息熵即为信息量的数学期望。
则X，Y的联合信息量可以表示为
平均互信息为互信息的数学期望
则公式可以推出
2. 代码
参考 http://blog.csdn.net/m_buddy/article/details/72818227
用的MATLAB 2012b，发现没有这个函数，官网提供的information theory包，需要编译cpp，编译cpp又需要安装SDK，然而试了安装SDK好多次都不成功，一套流程真让人奔溃。。
于是网上搜索代码整理成MATLAB可以用的计算函数VectorMI
-------------------------------------------------------------------------------------------------------
function [MI,mi] = VectorMI(u1,u2,wind_size)
% Calculate the mutual information of two vector
% the size of u1 and u2 must be equal
% wind_size:size of the window
if nargin<2
disp('Error: please input at least two parameters:u1, u2');
return
end
if nargin==2
wind_size=floor(power(length(u1),1/3)+0.5);
end
x = [u1, u2];
n = wind_size;
[xrow, xcol] = size(x);
bin = zeros(xrow,xcol);
pmf = zeros(n, 2);
for i = 1:2
minx = min(x(:,i));
maxx = max(x(:,i));
binwidth = (maxx - minx) / n;
edges = minx + binwidth*(0:n);
histcEdges = [-Inf edges(2:end-1) Inf];
[occur,bin(:,i)] = histc(x(:,i),histcEdges,1);
pmf(:,i) = occur(1:n)./xrow;
end
% Calculate the joint probability density of u1 and u2
jointOccur = accumarray(bin,1,[n,n]);
%(xi?yi) The number of two data falling into the n * n aliquot is the joint probability density
jointPmf = jointOccur./xrow;
Hx = -(pmf(:,1))'*log2(pmf(:,1)+eps);
Hy = -(pmf(:,2))'*log2(pmf(:,2)+eps);
Hxy = -(jointPmf(:))'*log2(jointPmf(:)+eps);
MI = Hx+Hy-Hxy;
mi = MI/sqrt(Hx*Hy);
--------------------------------------------------
3. MI可以解答非线性的关系
参考 http://blog.sina.com.cn/s/blog_a16150e90101f2lm.html
今天计算了一个例子，是概率书上对于皮尔逊相关系数不能解决线性关系的例子：
n=1:1000;
x=cos(n');
y=cos(n'+pi/2);
[MI,zMI] = x_calcelateMI([x,y],30)
C=corr(x,y)
结果：
zMI =
0.5719
C =
-9.0316e-04
其中 x_calcelateMI是我自己计算MI的函数zMI是标准化的互信息，c是相关系数，理论上c是0，结果也是十分接近于0，但可以看出互信息很高，说明互信息可以很好的衡量非线性关系，验证了我的想法。
4. 遇到的问题
参考 http://blog.sina.com.cn/s/blog_542a1e4a010130mk.html
增加路径界面方式：
另外一点要提示的是，如果自己写的函数要运行的话，需要在面板上 add path
首 先把主界面调出来，有两种方式，一种是在命令窗口输入pathtool，另一种是在matlab菜单调用（File -> Set Path…）。打开主界面后，相信不用太多解释了。Add Folder… 或者 Add with subfolders… 就可以了，添加完毕后，如果需要保存该路径，则在close前save一下就可以了。
这种方式的好处是如果路径有问题，matlab会马上报错，告诉用户添加失败。
找不到m文件的问题：
但是不是里面生效，所以还得rehash toolbox
如 果你已经把工具箱正确添加到搜索路径下，这种情况一般不会发生。也就是说，通过“文件夹copy -> 运行matlab ->添加路径”步骤后，该文件夹下所有文件应该都可以访问到。但是，当你对该文件夹下的m文件更新（包括修改和新增）了以后，此时如果你不重启 matlab，则可能会出现找不到m文件的问题（特别是该工具箱中的文件没有依赖关系，它们只是被放在一起方便调用，当你新增一个m文件到该文件夹下而不 重启matlab的时候，会造成这一新增m文件访问失败）。解决这个问题的方法之一显然是重启matlab，如果你不想重启，也可用第二个方法：在命令窗 口输入: rehash toolbox，“强制”matlab刷新toolbox目录下的所有文件，这样就可以正确访问了。