信息量、码元、比特、码元速率、信息速率详细解析——实例分析

信息量、码元、比特、码元速率、信息速率详细解析——实例分析

主要讲解信息量、码元、比特、码元速率、信息速率等相关的通信原理的基础知识，附带有详细的例题，可以通过例题对概念进行掌握。

一、通信和通信系统的一般概念

1.通信的概念

广义上，通信是指需要信息的双方或多方在不违背各自意愿的情况下采用任意方法，任意媒质，将信息从某一方准确安全地传送到另一方。
狭义上，通信就是信息的传输与交换，即信息的传递。

通信的目的是传递消息，包括传输和交换。

2.一般通信系统模型

二、信息及其度量

1. 电信号分类

按照参量取值的特点可将电信号分为模拟信号和数字信号.
模拟信号：能用连续的函数值表示的电信号
数字信号：只能使用离散的函数值表示的信号

2. 信息量

通信系统传输的具体对象是消息，其最终的目的在于通过消息的传送使收信者获知信息。

• 信息：指收信者在收到消息之前对消息的不确定性。

• 信息与消息的关系：消息是具体的，而信息是抽象的。

• 信息量：衡量信息多少的物理量为信息量

• 关于信息量的理解：

  • 1. 信息量的大小与消息所描述时间的出现概率有关。信息量应该是消息出现概率的单调递减函数。
  • 2. 如果收到的不是一个消息，而是若干个互相独立的消息，则总的信息量应该是每个消息的信息量之和。
  • 3. 对于由有限个符号组成的离散信源来说，随着消息长度的增加，其可能出现的消息数目却是按指数增加的。
       

练习：

3. 平均信息量

设某信息源有N种符号，其中第i种符号出现$n_i$次，且其出现的概率为$P（x_i）$ ，则整个消息的信息量为：$I={\sum }_{i=1}^N{n}_i\ast logP(x_i)$

统计平均信息量为：$H(x)=-{\sum }_{i=1}^{N}P(x_i)logP(x_i)$
通过平均信息量计算总信息量，利用下式：$$I=H(x)\ast n$$

信息源中各种符号等概出现信息量最大，即：$H_{max}=-{\sum }_{i=1}^N\frac{1}{N}=logN$

练习：

4. 模拟通信与数字通信

模拟通信系统模型如下：

数字通信系统模型如下：

数字通信系统的质量指标

1. 码元与比特

码元是信息的载体，可以是多种形式，二进制或多进制。
比特是信息的度量单位，不同形式的码元包含不同的信息量

例题1：

例题2：

2. 差错率

例题4：

例题5：