信息论—— 离散信源及其信息测度

离散信源及其信息测度

· 获得信息的过程，实际就是 减少/消除 不确定性的过程

· 自信息I(a_i)=log(1/p(a_i))

概率减少，自信息增大，获取的信息增加

自信息的含义：

事件发生前，表示事件发生的不确定性
事件发生后，表示事件提供的信息量

· 信息熵H（x）

也称为平均自信息、自信息的数学期望/加权平均

信息熵的含义

信源输出前：信源的平均不确定性（全部ai的平均信息量）
信源输出后：每个消息（符号ai提供的平均信息量）
表征变量X的随机性（与不确定性挂钩）

信息熵越大，输出前越难知道输出什么，不确定性越大

最大离散熵定理：当全部符号概率相等时，信息熵取得最大值。

熵越大越混乱