如何计算熵，条件熵和互信息 - 信息论基础

需要基础：概率论，数学基础

谈到通信中的两个问题：

1. 数据临界压缩的值：熵 H
2. 临界通信传输速率的值：信道容量 C

1. 如何计算熵

单个随机变量的熵为该随机变量的不确定度。（编码中多少位bit可以完整表述随机变量X）

1. 知道随机变量X的概率密度函数，熵用于度量随机变量的平均不确定度。

H-1.png

2. 两个例子：

a. 均匀分布，编码方式为最简单的，一种编码对应一种可能。

H-2.png

公式可以学成 H(X) = log N

b. 概率非均匀分布，概率大的编码比特数越小。ps：用于决策树定根节点。

H-3.png

2. 条件熵

公式跟以上一样，概率换为联合概率

条件熵.png

3. 互信息

定义两个随机变量的条件熵H(X|Y)，即一个随机变量在给定另一个随机变量的条件下的熵。 由另一随机变量导致的原随机变量不确定度的缩减量称为互信息。（是不是很难记，其实我从没记过，看图..）

I(X;Y).png

---

毕业后才发现学习速度要比读书时更快...

以上截图来源网络，但是我有正版教科书（纸质版），衷心希望所有文件都能出电子版。

上课又用到了 2018.8.1