离散随机变量的熵的推导

熵应满足的性质

根据香侬的《通信的数学理论》, 对于随机变量 X∼p, 熵 H(X)=H(p1,⋯,pn) 应满足的性质为：

1. H 应当关于 p 连续。
2. 如果所有 pi 都相等，即 pi=1n,∀i∈N,1≤i≤n, 则 H 应当是 n 的单调增函数。如果事件的可能性相等，那可能事件越多，选择或者说不确定性也更多。
3. 如果一项选择被分解为两个连续选择，则原来的 H 应当是各个 H 值的加权和。即： H(Y)=H(X,Y)=H(X)+EX(H(Y|X))

离散随机变量的熵的推导

命题 1

令 A(n)=H(p1=1n,⋯pn=1n),n∈N+
则 A(nm)=mA(n),m∈N+

证明：

n=1 时显然成立。
假设对于 n 成立， 即 A(nm)=mA(n),
则对于 n+1, 假设有 nm 个桶，每个桶中有 n 个球， 共计 nm+1 个球。可以将在 nm+1 个球中进行一次等概率选择看成两次连续选择：首先在 nm 个桶中进行一次等概率选择，然后如果选择了第 i(i∈N,1≤i≤nm) 个桶， 再在第 i 个桶中的 n 个球中进行一次等概率选择。
由规则 3, A(nm+1)=H(Am)+∑nmi=11nmA(n)=mA(n)+A(n)=(m+1)A(n)

命题 2

∃K>0,A(n)=Klnn,∀n∈N+

证明：

由命题 1 易知 A(1)=0 由单调性， A(n)>0,∀n>1
∀t,s∈N+,s,t>1,∀ε>0,∃n∈N+,n>max{logts,1ε,1},
于是 n>logts⇒nlogst>1,
因此 ∃m∈N+,m≤nlogst≤m+1
⇒sm≤tn<sm+1
⇒mlns≤nlnt<(m+1)lns
⇒mn≤lntlns<m+1n=mn+1n
⇒|lntlns−mn|≤1n<ε (1)

A(sm)≤A(tn)<A(sm+1)
⇒mA(s)≤nA(t)<(m+1)A(s)
⇒mn≤A(t)A(s)≤m+1n=mn+1n
⇒|A(t)A(s)−mn|≤1n<ε (2)

由 (1), (2) 得 |A(t)A(s)−lntlns|≤|lntlns−mn|+|A(t)A(s)−mn|<2ε
⇒A(t)A(s)=lntlns
⇒A(t)=A(s)lnslnt
固定 s ，令 K=A(s)lns, 则 A(t)=Klnt
由规则 2， K>0

命题 3

H(X)=H(p1,⋯,pm)=−K∑mi=1pilnpi,∀i∈N+,1≤i≤m,pi∈Q+,m∈N+

证明

易知存在 n∈N+,{ni∈N+:1≤i≤m}, 使得 pi=nin,1≤i≤m
由 ∑mi=1pi=1⇒∑mi=1ni=n,
假设有 m 个桶，第 i(i∈N,1≤i≤m) 个桶中有 ni 个球， 共计 n 个球。

将在 n 个可能的结果（球）中进行一次等概率选择看成两次连续选择：首先在 m 个可能的结果（桶）中进行一次选择，选中第 i(i∈N,1≤i≤m) 个结果（桶）的概率为 pi, 然后如果选择了第 i(i∈N,1≤i≤m) 个（桶）， 再在第 i(i∈N,1≤i≤m) 个桶中的 ni 个可能的结果（球）中进行一次等概率选择。
由规则 3, A(n)=H(X)+∑mi=1piA(ni)
⇒H(X)=A(n)−∑mi=1piA(ni)
=Klnn−∑mi=1piKlnni
=(∑mi=1pi)Klnn−∑mi=1piKlnni
=K∑mi=1pilnnni
=−K∑mi=1pilnpi

命题 4

H(X)=H(p1,⋯,pm)=−K∑mi=1pilnpi,∀i∈N+,1≤i≤m,pi∈R+,m∈N+

证明

令 p=(p1,⋯,pm),p′=(p′1,⋯,p′m),p′i∈Q+,∀i∈N+,1≤i≤m,
由规则 1， H(X) 是连续函数，因此
H(X)=limp′→pH(p′)=limp′→p−K∑mi=1p′ilnp′i=−K∑mi=1pilnpi