信息论与编码————1.1信息的定义

一、信息的定义

1、信息:通讯系统的信息、信号和消息

通信的基本问题:在一点精确或近似地恢复另一点所选择的信息

通信的目的:消除不确定性,获得信息

信息论与编码————1.1信息的定义_第1张图片

2、消息:能被人的感觉器官所感知(消息中包含信息,是信息的载体,是具体的

3、信号:信道传输的物理量(信号携带消息,是消息的运载工具,可测量、可显示、可描述)

香农信息:事物运动状态和存在方式的不确定性描述

通信过程是一种消除或部分消除不确定性的工程

1.信息在被接收前具有未知性,不确定性
2.信息通过通信系统之后,不确定性被完全消除或部分消除

不确定性(信息量)的定性和定量描述

1、定性描述:事先猜测某随机事件是否发生的难易程度

例:一夜暴富:概率极低,很难猜到,信息量大;

学习会很难:概率很高,容易猜到,信息量较小;

信息论要用到数学:必然事件,信息量为0;

2、定量描述是随机事件所发生所提供的信息量

不可能事件的概率为0,信息量无穷大;

必然事件的概率是1,信息量为0;

随机事件概率与自信息成负相关

二、信息论的研究对象和目的

通信的实质:形式上传输消息,实质上传输信息

信息论与编码————1.1信息的定义_第2张图片

信源:产生消息和消息序列的愿

编码器:将消息转化为适合信道传输的物理量

信道:传输、存储信号的媒介

译码器:对信号进行反变换

信宿:消息传递的对象

三、概率论知识回顾

1、利用矩阵表示概率分布

(1)一维矩阵

信息论与编码————1.1信息的定义_第3张图片

(2)联合概率分布和边沿概率分布

信息论与编码————1.1信息的定义_第4张图片

(3)条件概率分布

信息论与编码————1.1信息的定义_第5张图片

三者关系

信息论与编码————1.1信息的定义_第6张图片

常用概率公式

信息论与编码————1.1信息的定义_第7张图片

你可能感兴趣的:(信息论与编码,网络)