c语言求信源的信息熵,第二章-信源与信息熵(三)

接上一节  第二章-信源与信息熵(二)

2.4 连续信源的熵与互信息

1.        实际中,连续信源

a)        幅度连续

b)        时间或频率上也连续

2.        统计特性

a)        概率密度函数

3.        用离散变量来逼近连续变量

连续信源熵

1.       定义

连续信源的状态概率用概率密度来表示。如果连续随机变量X,取值为实数域R,其概率密度函数为p(x),则

5680242dc453de9f43119950be563b2f.png

如果取值为有限实数域[a,b],则

531ff6849875e487c3d32024d484bd0f.png

X的概率分布函数为

193d968392ef1482133321e90a588e2a.png

利用离散信源熵的概念来定义连续信源熵

设一在[a,b]取间的连续随机变量

c语言求信源的信息熵,第二章-信源与信息熵(三)_第1张图片

把X的取值区间[a,b]分割为n个小区间,小区间宽度为

7c9d290485c1a14a4f6bfc7ef45f71e1.png

c语言求信源的信息熵,第二章-信源与信息熵(三)_第2张图片

当△趋于0,n趋于无穷时,离散随机变量Xn将接近于连续随机变量X,这时可以得到连续信源的熵为

c语言求信源的信息熵,第二章-信源与信息熵(三)_第3张图片

其中,连续信源的熵定义为

13678bb0d902a293973049e0fbdcc17d.png

2.       解释

1)        连续信源熵为一个相对熵,其值为绝对熵减去一个无穷大量

2)        连续信源有无穷多个状态,因此根据SHANNON熵的定义必然为无穷大。

3)        连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的,而信息量是无限的。

4)        连续信源熵不具有非负性,可以为负值

5)        尽管连续信源的绝对熵为一个无穷大量,但信息论的主要问题是信息传输问题,连续信道的输入输出都是连续变量,当分析其交互信息量时是求两个熵的差,当采用相同的量化过程时,两个无穷大量将被抵消,不影响分析。

c语言求信源的信息熵,第二章-信源与信息熵(三)_第4张图片

3.       连续信源的最大熵定理

限峰功率最大熵定理:定义域受限的随机变量X,均匀分布时,具有最大熵

c语言求信源的信息熵,第二章-信源与信息熵(三)_第5张图片

限平均功率最大熵定理:对于相关矩阵一定随机变量X,当它是正态分布时具有最大熵

c语言求信源的信息熵,第二章-信源与信息熵(三)_第6张图片

2.5 冗余度

表示给定信源在实际发出消息时所包含的多余信息

e7a4279f8a0e819ccb6fd4935ce9c96c.png

来源

信源符号间的相关性

信源符号分布的不均匀性

定义

0dceebb558b44e3a38c90c07e27e9c33.png

衡量信源的相关性程度

信源输出符号间相关长度长,则信源的实际熵小,熵的相对率小,信源的冗余度越大

反之,信源冗余度小

复习——概念

1.        信息是可以定量描述的,可以比较大小,由概率决定;

a)        对应特定信源,可以求出所含不确定度,也就是消除不确定度所需的信息量;

b)        可通过对信源的观察、测量获得信息,以减少对信源的不确定度;

c)        考虑信源符号概率分布和符号之间的相关性,信源不确定度会下降

d)        H(X)就是信源无失真时必需输出的最小信息量;

2.        通过传输,信宿可以得到信息I(X;Y),从而减小对信源的不确定度:

H(X/Y)=H(X)-I(X;Y)

a)        信息通过系统传输,只会丢失信息,不会增加

b)        丢失部分H(X/Y)是由噪声引起的

复习——计算公式、相互关系

自信息量、信源熵、相对熵

互信息、条件熵、联合熵

序列熵、平均符号熵、极限熵

冗余度

你可能感兴趣的:(c语言求信源的信息熵)