《信息论与编码》学习笔记
第一章 信息论概述
基本概念：
l 信息：一种抽象意识。认识的主体所感受的和所表达的事物的运动状态和运动状态变化的方式。
l 消息：包含有信息的语言、文字、图像等。
l 信号：消息的物理体现，消息的载体。
l 数据：载有消息的，可观测，可传输，可存储及可处理的信号。
l 信息论要求信源为随机过程
l 随机过程：对随时间和空间变化的随机现象进行建模和分析的学科。
信息的特征：
l 不确定性：任何已确定的事物都不含信息。
l 信息与许多物质，能量具有相同的特征，但也有许多与后者不同的特征。
l 可以度量性。
信息的三个基本层次：
l 语法（syntactic）信息：事物运动的状态和变化方式的外在形式。与用途含义无关。
l 语义（semantic）信息：内在含义。
l 语用(pragmatic)信息：价值，实际效用。
通信系统的物理模型：
信源（Information Source）：
l 有记忆信源：输出符号的概率与其他时刻的符号有关
l 无记忆信源：输出符号的概率与其他时刻的符号无关
l 连续信源：由连续变化的参数承载
l 离散信源：由符号序列或单个符号承载
编码器(encoder)：
l 功能：将消息变成适合于信道传输的信号。
l 信源编码器：把消息变成由二进制（或多进制）码元组成的代码组以达到压缩信源冗余度的目的。针对离散信源进行无失真编码；针对连续信源进行限失真编码。评价指标为编码效率。
l 信道编码器：在代码组上有目的的增加监督码元，使代码组具有检错和纠错的能力。以保证信噪比（模拟信号）和减少误码率（数字信号）。
l 调制器：将编码器的输出信号变成适合信道传输的信号（光电信号等）。目的是提供传输效率。
信道（channel）:
l 狭义信道：具体的物理信道。
l 广义信道：逻辑关系，不考虑实际介质。信息论中的信道。
l 加性噪声：由环境引起的噪声，与信号直接相加。
l 乘性噪声：由信道不理想引起的，与信号相乘。
l 白噪声：功率谱密度在整个频域内均匀分布的噪声。
l 高斯噪声：概率密度函数服从高斯分布（正态分布）的一类噪声
l 加性高斯白噪声：概率密度函数满足正态分布，同时概率谱密度函数是常数的加性噪声。
l AWGN（Additive White Gaussian Noise）信道：根据中心极限定理，多个独立随机变量的和的分布趋近于高斯分布。
解码器（decoder）：
l 功能从信号中恢复消息。
信宿(destination)：
l 接收消息的对象。
第二章 信源及信源熵
2.1 信源的描述及分类：
l 离散信源可以分为单个符号信源和符号序列信源。而多个符号构成的序列和单个符号直接可以相互转换
l 马尔可夫性（无后效性）：该时刻发生某事件的概率只与之前某些有限的时刻发生事件的概率有关。
l 随机过程：在一段时间内，由若干与时间有关的随机函数构成的集合。
l 马尔可夫过程：具有马尔可夫性的随机过程。
l 马尔可夫信源：发出的消息可看作马尔可夫过程的信源。
l 状态空间：随机函数全部取值的集合。
l 转移概率：马氏链在时刻m处于状态ai条件下，在时刻m+n转移到aj的转移概率。 Pij(m,m+n)=P{Xm+n=aj|Xm=ai}
l 平稳性：当转移概率Pij(m,m+n)只于i，j及时间间隔n有关时，则该概率具有平稳性。即Pij(n)=Pij(m,m+n)=P{Xm+n=aj|Xm=ai}. Pij(n)称为n步转移概率。
l 先验概率：符号发送前已经具有的概率。
l 概率空间：符号及先验概率构成的矢量称为概率空间。
2.2 离散信源熵和互信息：
l 信息量：信息的定量表示。
l 物理熵：无序程度的度量。描述系统特征。
l 信息熵：随机事件的不确定度。描述系统的统计特征。
l 信源熵：信源发出消息的不确定度。
l 自信息量的定义：概率对数的负值。性质：非负、减函数、随机函数。
l 不确定度：表征随机事件发生的不确定程度。它和自信息量数值和单位相同。但意义不同：不确定度是表征事件本身的性质，自信息量表示事件发生后观察者得到的消除不确定度需要的信息量。