熵 | 无线通信知识
文章目录
- 一、信息论（熵、联合熵、条件熵）
- 二、Bernoulli熵
- 三、联合熵和条件熵
- 四、互信息
- 五、相对熵(KL距离)
- 常需要的不等式公式
一、信息论（熵、联合熵、条件熵）
熵定义： H ( X ) = E [ − l o g 2 p ( x ) ] = − ∑ x ∈ X p ( x ) l o g 2 p ( x ) H(X)=E[-log_2p(x)]=-\sum_{x\in X}p(x)log_2p(x) H(X)=E[−log2p(x)]=−x∈X∑p(x)log2p(x)
note
- H(X)是X的平均香农信息内容
- H(X)是每个符号的平均信息量
- 二元问题(抛硬币)，H(X)取值为[H(X),H(X)+1]
为什么用 l o g 2 ( . ) log_2(.) log2(.)衡量信息
非负性： f ( p ) ≥ 0 f(p)\ge0 f(p)≥0, 0 ≤ p ≤ 1 0\le p\le1 0≤p≤1
特殊点：当p=0, f ( p ) = ∞ f(p)=\infty f(p)=∞
可加性
单调递增连续性 ？？
二、Bernoulli熵
符号集 χ = [ 0 , 1 ] \chi=[0,1] χ=[0,1]，对应的概率 p ⃗ = [ p , 1 − p ] \vec{p}=[p,1-p] p=[p,1−p]
Bernoulli熵： H ( X ) = H ( p ) = − p l o g 2 p − ( 1 − p ) l o g 2 ( 1 − p ) H(X)=H(p)=-plog_2p-(1-p)log_2(1-p) H(X)=H(p)=−plog2p−(1−p)log2(1−p)
note：
- 通常用 H ( p ) H(p) H(p)表示 H ( X ) H(X) H(X)
- p=0 or 1时， H ( p ) = 0 H(p)=0 H(p)=0
- H ( p ) H(p) H(p)是p的凸函数
- p=0.5， H ( p ) H(p) H(p)最大
- H ( p ) H(p) H(p)的取值范围 0 ≤ H ( p ) ≤ l o g 2 ∣ χ ∣ 0\le H(p)\le log_2|\chi| 0≤H(p)≤log2∣χ∣
三、联合熵和条件熵
联合熵：
H ( X , Y ) = − E l o g p ( x , y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g p ( x , y ) H(X,Y)=-Elogp(x,y)=-\sum_{x\in X} \sum_{y\in Y} p(x,y)logp(x,y) H(X,Y)=−Elogp(x,y)=−x∈X∑y∈Y∑p(x,y)logp(x,y)
条件熵
H ( Y ∣ X ) = − E l o g ( y ∣ x ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g p ( y ∣ x ) H(Y|X)=-Elog(y|x)=-\sum_{x\in X} \sum_{y\in Y}p(x,y)logp(y|x) H(Y∣X)=−Elog(y∣x)=−x∈X∑y∈Y∑p(x,y)logp(y∣x)
H ( Y ∣ X ) = ∑ x ∈ X p ( x ) H ( Y ∣ X = x ) H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x) H(Y∣X)=x∈X∑p(x)H(Y∣X=x)
熵的链式法则
- H ( X , Y ) = H ( X ) + H ( Y ∣ X ) H(X,Y)=H(X)+H(Y|X) H(X,Y)=H(X)+H(Y∣X)
- H ( X , Y ∣ Z ) = H ( X ∣ Z ) + H ( Y ∣ X , Z ) H(X,Y|Z)=H(X|Z)+H(Y|X,Z) H(X,Y∣Z)=H(X∣Z)+H(Y∣X,Z)
- H ( X 1 , X 2 , . . . . X n ) = ∑ i = 1 n H ( X i ∣ X i − 1 , . . . . X 1 ) H(X_1,X_2,....X_n)=\sum_{i=1}^{n}H(X_i|X_{i-1},....X_1) H(X1,X2,....Xn)=∑i=1nH(Xi∣Xi−1,....X1)
四、互信息
定义：
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y) I(X;Y)=H(X)−H(X∣Y)=H(X)+H(Y)−H(X,Y)
互信息具有对称性
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X;Y)=H(X)+H(Y)-H(X,Y) I(X;Y)=H(X)+H(Y)−H(X,Y)
I ( X ; Y ) = I ( Y , X ) I(X;Y)=I(Y,X) I(X;Y)=I(Y,X)
I ( X ; X ) = H ( X ) I(X;X)=H(X) I(X;X)=H(X)
I ( X ; Y ) ≥ 0 I(X;Y)\ge0 I(X;Y)≥0，当且仅当X Y互相独立时，等号成立
互信息的链式法则
I ( X 1 , X 2 , . . . . X n ; Y ) = ∑ i = 1 n I ( X i ; Y ∣ X i − 1 , . . . . , X 1 ) I(X_1,X_2,....X_n;Y)=\sum_{i=1}^nI(X_i;Y|X_{i-1},....,X_1) I(X1,X2,....Xn;Y)=i=1∑nI(Xi;Y∣Xi−1,....,X1)
五、相对熵(KL距离)
D ( p ⃗ ∣ ∣ q ⃗ ) = ∑ x ∈ X p ( x ) l o g q ( x ) p ( x ) = E p ⃗ [ − l o g q ( x ) ] − H ( p ⃗ ) D(\vec{p}||\vec{q})=\sum_{x\in X}p(x)log\frac{q(x)}{p(x)}=E_{\vec{p}}[-logq(x)]-H(\vec{p}) D(p∣∣q)=x∈X∑p(x)logp(x)q(x)=Ep[−logq(x)]−H(p)
D ( p ⃗ ∣ ∣ q ⃗ ) D(\vec{p}||\vec{q}) D(p∣∣q)测量的是两个概率分布 p ⃗ \vec{p} p和 q ⃗ \vec{q} q间的距离，并非真实距离
D ( p ⃗ ∣ ∣ q ⃗ ) ≥ 0 D(\vec{p}||\vec{q})\ge 0 D(p∣∣q)≥0，当且仅当 p ⃗ \vec{p} p= q ⃗ \vec{q} q，等号成立
常需要的不等式公式
H ( Y ∣ X ) ≤ H ( X ) H(Y|X)\le H(X) H(Y∣X)≤H(X),X和Y互相独立时，等号成立
H ( X 1 , X 2 , . . . . X n ) ≤ ∑ i = 1 n H ( X i ) H(X_1,X_2,....X_n)\le \sum_{i=1}^nH(X_i) H(X1,X2,....Xn)≤∑i=1nH(Xi)，当且仅当 X i X_i Xi互相独立时等号成立
参考文章：通信算法基础知识汇总（5）