信息论 基础知识（一）

信息论的研究对象和目的

信息论的研究对象是广义的通信系统，它把所有的信息流通系统都抽象成一个统一的模型，如图：

目的：设计通信系统以及确定评价通信系统优劣标准

信息的度量

自信息

一个事件本身所包含的信息量，它是由事件的不确定性决定的，定义为：

比如抛掷一枚硬币结果是正面这个消息所包含的信息量。

互信息

一个事件所给出关于另一个事件的信息量，定义为：

比如今天下雨所给出关于明天下雨的信息量。

平均自信息

又称信息熵、信源熵，简称熵，即事件集所包含的平均信息量，它表示信源的平均不确定性，定义为：

即对事件集单个事件自信息组合取数学期望。比如抛掷一枚硬币的试验所包含的平均信息量。

性质

1.对称性

2.确定性

3.非负性

4.扩展性

5.连续性

6.递推性

7.极值性

8.上凸性

联合熵和条件熵

二维随机变量XY的联合熵定义为联合自信息的数学期望，它是二维随机变量XY的不准确性的度量
联合熵定义为：

考虑在给定X的条件下，随机变量Y不确定性度量即为条件熵，其定义为：

平均互信息

一个事件集所给出关于另一个1事件集的平均信息量，比如今天天气所给出关于明天的天气的信息量，其定义为：

性质

1.非负性

2.对称性

3.平均互信息和各类熵的关系

4.极值性

5.凸函数性

参考：信息论基础教程 第三版 李梅 李亦龙 王玉皞 编著