学在信息——渐露锋芒

N次扩展信源的熵

离散无记忆信源X的N次扩展心愿X^N的熵等于信源X熵的N倍，即H(X^N)=NH(X)

平均符号熵

表示N长信源输出符号序列中，平均每个符号所携带的信息量（即N长信源每发一个符号提供的平均信息量），用于评估离散平稳有记忆信源每发一个符号提供的平均信息量。

1.各维条件熵H(XN|X1X2X3...XN-1)随N的增加是非递增的

2.N给定时，平均符号熵大于等于条件熵

3.平均符号熵随着N的增加是非递增的

极限熵

信源输出为N长符号序列，当N——>∞，则极限熵H(∞)为

极限信息量（熵率）

即作为一个离散平稳有记忆信源X=X1X2…XN提供信息能力的衡量标准。

含义：对于离散平稳信源，当N→∞时（即依赖关系为无限长时），平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵（极限熵）。

实际中常取有限N下的条件熵作为H∞的近似值。因为取N不是很大时，就能得到非常接近H∞的值，常取N=7,8,9

平稳信源的记忆长度有限时，如马尔科夫信源。设记忆长度为m(即某时刻发出什么符号只与前m个符号有关），则离散平稳份信息的极限熵等于有限记忆长度m的条件熵