1.求下面三种信道的信道容量
行列数量相等的情况
行比列多的情况
列比行多的情况
小贴士
2.客观世界三大基本要素:物质,能量,信息。
3.信息:是对事物运动状态和变化方式的表征,它存在于任何事物之中,可以被认识主体(人或机器)获取和利用。
4.消息:用符号、数字、语言、图像等能够被人的感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来,是信息的载体,用来表达信息。
5.信号:把消息变成适合信道传输的物理量。
6.全信息:同时考虑外在形式/语法信息,内在含义/语义信息,效用价值/语用信息。
7.语法信息:事物运动状态和状态改变的方式
8.语义信息:事物运动状态和方式的具体含义
9.语用信息:事物运动状态和方式及其含义对观察者的效用。
10.香农信息论考虑事物运动状态及其变化方式的外在形式,实际上研究的是语法信息,主要研究概率信息。
11.香农创立了信息论,但并没有给出信息论的确切定义,重点是放在编码。维纳是信息论的创始人之一,认为信息是独立于物质和能量之外存在于客观世界的第三要素,研究重点放在接收端。
12.狭义信息论(香农经典信息论),研究信息测度,信道容量以及信源和信道编码理论。研究信息论的目的是为了可靠,高效,安全,经济并且随心所欲地交换和利用各种各样的信息。
13.信息的性质
存在普遍性:信息存在与自然界,人类社会,其本质是运动的和变化的,哪里有事物的运动和变化,哪里就有信息。
有序性:要使一个系统从无序变为有序,必须从外界获取信息。
相对性:同一个事物,不同的观察者获得的信息量可能不同。
可度量性:信息的多少用信息量表示。
可扩充性:信息随人的认识的提高在不断地扩充。可存储,传输与携带性。
可压缩性。
可替代性:可替代劳动力,资本,物质材料,时间。
可扩散性:可在短时间内较大范围扩散开。
可共享性:可以被人们用来进行人类社会的发展和进步。
时效性:信息是有"寿命"的。
14.1948年香农发表了"通信的数学理论"奠定了信息论理论基础。
15.通信系统三项性能指标(信息论研究目的就是优化这三个指标):
(1)有效性:用尽可能短的时间和尽可能少的设备来传输一定信息量的信息。
(2)可靠性:要是信源发出的信息进过传输后,尽可能准确地,不失真地再出现在接收端。
(3)安全性:避免网络木马病毒,黑客攻击等,保证通信的安全。
16.信息论的研究对象:信息论是一门应用概率论、随机过程、数理统计和代数的方法,来研究广义的信息传输、提取和处理系统中一般规律的工程学科。
17.信息传输系统模型
18.关于信源信息的度量
对信息进行量度是信息论的首要问题。香农定义了熵作为信源所含信息的量度,是信息论中最重要的概念。
19.无失真信源编码定理(香农第一定理)
无失真信源编码定理,也称香农第一定理,是信源压缩编码的理论基础,其内容是:如果信源编码码率(编码后传送信源符号所需比特数)不小于信源的熵,就存在无失真编码,反之,不存在无失真编码。
20.关于信道容量与信息的可靠传输
有噪信道编码定理(香农第二定理)是信道编码的理论基础,其内容是:如果信息传输速率小于信道容量,则总可找到一种编码方式使得当编码序列足够长时传输差错任意小,反之不存在使差错任意小的编码。
21.
已知一个离散无记忆信源发出的信号取自符号集{0,1,2,3},且概率分布为P(0)=1/2,P(1)=1/4,P(2)=3/16,P(3)=1/16,(计算结果注意标注单位)
(1)计算该信源发出符号“2”所包含的信息量。
(2)计算该信源的平均信息量(信息熵)。
(3)计算该信源发出符号序列串“20200301”所包含的信息量。
22.香农公式