信息与编码 SCUEC DDDD 期末考试整理(2)

1.求下面三种信道的信道容量

行列数量相等的情况

信息与编码 SCUEC DDDD 期末考试整理(2)_第1张图片

 行比列多的情况

信息与编码 SCUEC DDDD 期末考试整理(2)_第2张图片

 列比行多的情况

信息与编码 SCUEC DDDD 期末考试整理(2)_第3张图片

 小贴士

信息与编码 SCUEC DDDD 期末考试整理(2)_第4张图片

 2.客观世界三大基本要素:物质,能量,信息

3.信息:是对事物运动状态和变化方式的表征,它存在于任何事物之中,可以被认识主体(人或机器)获取和利用。

4.消息:用符号、数字、语言、图像等能够被人的感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来,是信息的载体,用来表达信息

5.信号:把消息变成适合信道传输的物理量

6.全信息:同时考虑外在形式/语法信息,内在含义/语义信息,效用价值/语用信息。

7.语法信息:事物运动状态和状态改变的方式

8.语义信息:事物运动状态和方式的具体含义

9.语用信息:事物运动状态和方式及其含义对观察者的效用。

10.香农信息论考虑事物运动状态及其变化方式的外在形式,实际上研究的是语法信息,主要研究概率信息

11.香农创立了信息论,但并没有给出信息论的确切定义,重点是放在编码。维纳是信息论的创始人之一,认为信息是独立于物质和能量之外存在于客观世界的第三要素,研究重点放在接收端。

12.狭义信息论(香农经典信息论),研究信息测度,信道容量以及信源和信道编码理论。研究信息论的目的是为了可靠,高效,安全,经济并且随心所欲地交换和利用各种各样的信息。

13.信息的性质

存在普遍性:信息存在与自然界,人类社会,其本质是运动的和变化的,哪里有事物的运动和变化,哪里就有信息。

有序性:要使一个系统从无序变为有序,必须从外界获取信息。

相对性:同一个事物,不同的观察者获得的信息量可能不同。

可度量性:信息的多少用信息量表示。

可扩充性:信息随人的认识的提高在不断地扩充。可存储,传输与携带性。

可压缩性

可替代性:可替代劳动力,资本,物质材料,时间。

可扩散性:可在短时间内较大范围扩散开。

可共享性:可以被人们用来进行人类社会的发展和进步。

时效性:信息是有"寿命"的。

14.1948年香农发表了"通信的数学理论"奠定了信息论理论基础。

15.通信系统三项性能指标(信息论研究目的就是优化这三个指标):

(1)有效性:用尽可能短的时间和尽可能少的设备来传输一定信息量的信息。

(2)可靠性:要是信源发出的信息进过传输后,尽可能准确地,不失真地再出现在接收端。

(3)安全性:避免网络木马病毒,黑客攻击等,保证通信的安全。

16.信息论的研究对象:信息论是一门应用概率论、随机过程、数理统计和代数的方法,来研究广义的信息传输、提取和处理系统中一般规律的工程学科。

17.信息传输系统模型

信息与编码 SCUEC DDDD 期末考试整理(2)_第5张图片

 18.关于信源信息的度量

对信息进行量度是信息论的首要问题。香农定义了熵作为信源所含信息的量度,是信息论中最重要的概念。

19.无失真信源编码定理(香农第一定理)

无失真信源编码定理,也称香农第一定理,是信源压缩编码的理论基础,其内容是:如果信源编码码率(编码后传送信源符号所需比特数)不小于信源的熵,就存在无失真编码,反之,不存在无失真编码。

20.关于信道容量与信息的可靠传输

有噪信道编码定理(香农第二定理)是信道编码的理论基础,其内容是:如果信息传输速率小于信道容量,则总可找到一种编码方式使得当编码序列足够长时传输差错任意小,反之不存在使差错任意小的编码。

21.

已知一个离散无记忆信源发出的信号取自符号集{0,1,2,3},且概率分布为P(0)=1/2,P(1)=1/4,P(2)=3/16,P(3)=1/16,(计算结果注意标注单位)

(1)计算该信源发出符号“2”所包含的信息量。

(2)计算该信源的平均信息量(信息熵)。

(3)计算该信源发出符号序列串“20200301”所包含的信息量。

信息与编码 SCUEC DDDD 期末考试整理(2)_第6张图片

 22.香农公式

信息与编码 SCUEC DDDD 期末考试整理(2)_第7张图片

 

 

你可能感兴趣的:(信息与通信)