互信息(Mutual Information)

互信息（Mutual Information） - gatherstars - 博客园 (cnblogs.com)

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。

信息论基础 学习笔记（1） - 知乎 (zhihu.com)

互信息(mutual information) 是信息论中最重要的概念之一。它的对象是两个随机变量。互信息就是指这两个随机变量包括对方的信息的量。举个例子：X指性别，男生还是女生；Y指头发长度，长头发还是短头发。这一个有一个人，Ta是长头发，那Ta是女生的概率就更大。同理，Ta是男生，那么Ta拥有短头发的概率就更大。可以看出，头发长短暗含了一定的性别信息。那么暗含的信息量有多少呢？就是互信息。我们可以如下定义互信息：

image.png

image.png

image.png

互信息(Mutual Information)浅尝辄止（一）：基础概念 - 知乎 (zhihu.com)
互信息是信息论中用以评价两个随机变量之间的依赖程度的一个度量。
举个例子：x=今天下雨与y=今天阴天，显然在已知y的情况下, 发生x的概率会更大

• 信息量：是对某个事件发生或者变量出现的概率的度量，一般一个事件发生的概率越低，则这个事件包含的信息量越大，这跟我们直观上的认知也是吻合的，越稀奇新闻包含的信息量越大，因为这种新闻出现的概率低。香农提出了一个定量衡量信息量的公式：
  
  image.png

• 熵(entropy)：是衡量一个系统的稳定程度。其实就是一个系统所有变量信息量的期望或者说均值。
  单位：当log底数为2时，单位为比特； 但也用Sh、nat、Hart计量，取决于定义用到对数的底。
  

  image.png

• 联合熵(joint entropy): 多个联合变量的熵，也就是将熵的定义推广到多变量的范围。
  

  image.png

• 条件熵(conditional entropy)：一个随机变量在给定的情况下，系统的熵。

image.png

不难看出，条件熵就是假设在给定一个变量下，该系统信息量的期望

image.png

• 相对熵(relative entropy)：也被称作KL散度(Kullback–Leibler divergence)。当我们获得了一个变量的概率分布时，一般我们会找一种近似且简单的分布来代替，例如： - 如何理解K-L散度（相对熵）。相对熵就是用来衡量着两个分布对于同一个变量的差异情况。
  
  image.png

其中是观察到的变量分布，q是我们找到的一个尽量分布。是一个非对称的度量，这里我们希望对于较大概率出现的时，近似值和实际分布的信息量差异应该有个较大权重。

image.png

• 互信息(Mutual Information)：如下图，互信息就是，即与交叉的部分。其等价于
  
  image.png

• 互信息与信息增益：知乎 - 信息增益和互信息有什么联系和区别？

• 互信息描述的是同一个系统下两个子系统的对应部分的信息量；
  信息增益描述的是同一个系统下，不同状态的信息量。

• 是指一些物体以不同属性进行分类时的信息量，评价的是属性的关键程度；
  是指在已知一个事件后, 事件的不确定程度。

• 信息增益是互信息的无偏估计，所以在决策树的训练过程中， 两者是等价的。