信息论复习五:信息率失真函数(一)

今天先提前复习信息率失真函数,因为最近讲到这里了,而且这里的计算较为简单。

首先了解一下失真函数和失真矩阵,然后就是单符号离散信源的平均失真计算,计算非常简单,就是联合概率矩阵和失真矩阵进行点乘(相同位置对应相乘)之后,再把矩阵的数求和,通俗一点就是两个矩阵相同位置的数对应相乘然后相加。

接下来就是多符号离散序列的平均失真,它的计算等于L个单符号离散信源的平均失真的平均。

信息论复习五:信息率失真函数(一)_第1张图片

接下来就是保真度准则和信息率失真函数的概念,信息率失真函数就是给定信源的收发两端的平均互信息的最小值。

然后就是信息率失真函数的定义域计算,Dmin就是信源的输出概率和失真矩阵的每行最小值相乘之和,对应的转移概率矩阵就是失真矩阵每行最小值的位置处为0,其余为1;

Dmax就是信源的输出概率和失真矩阵的每一列相乘之和的最小值,对应的转移概率矩阵就是取得Dmax的对应列的位置为1,其余列为0。

还有就是关于R(D)的重要性质!!!

信息论复习五:信息率失真函数(一)_第2张图片

 最后来两个例子巩固一下刚才说的计算。

再介绍一下限失真编码定理,也就是香农第三定理。

信息论复习五:信息率失真函数(一)_第3张图片 

以上就是这节的内容!!!

持续更新中!!! 

你可能感兴趣的:(信息论,复习,矩阵,学习)