用c语言实现信息熵和信息量,《信息论》实验指导书— 应用MATLAB软件实现.doc

《信息论》实验指导书— 应用MATLAB软件实现

《信息与编码理论》上机实验指导书

——————— 应用MATLAB软件实现

UPC通信工程系

前 言

本实验系列是采用MATLAB软件，主要针对《信息论基础》课程中的相关内容进行的实验。

MATLAB是一完整的并可扩展的计算机环境，是一种进行科学和工程计算的交互式程序语言。它的基本数据单元是不需要制定维数的矩阵，它可直接用于表达数学的算式和技术概念，解决同样的数值计算问题，使用MATLAB要比使用Basic、Fortran和C语言等提高效率许多倍。MATLAB还是一种有利的教学工具，在大学的线性代数课程以及其它领域的高一级课程的教学中，已称为标准的教学工具。

该指导书共安排了4个实验，现就一些情况作简要说明：

各实验要求学生在MATLAB系统上尽量独立完成，弄懂。实验内容紧扣课程教学内容的各主要基本概念，希望同学们在完成每个实验后，对所学的内容起到巩固和加深理解的作用。

每个实验做完后必须交一份实验报告。

恳请各位实验老师和同学在实验中提出宝贵意见，以利于以后改进提高。

目 录

实验一 离散信源及其信息测度.......................................3

实验二 离散信道及其容量...........................................6

实验三 无失真信源编码.............................................8

实验四 有噪信道编码..............................................10

附录 部分常用MATLAB命令.......................................12

实验一 离散信源及其信息测度

一、[实验目的]

离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。

二、[实验环境]

windows XP,MATLAB

三、[实验原理]

信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下

信源熵是信源的统计平均不确定性的描述，是概率函数的函数。

四、[实验内容]

1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。

2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量；

3、给定离散无记忆信源X，其概率空间为

求该信源的熵和其二次、三次扩展信源的熵。(编写一M函数文件：

function [H_X1,H_X2,H_X3]=t03(X1,P1)

%t03 求信源和其二次、三次扩展信源的熵

%输入为X1,P1,分别为信源符号和概率阵

%输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3

4、某离散二维平稳信源的概率空间：

设发出的符号只与前一个符号有关。求：(a)认为信源符号之间无依赖性时，信源X的信息熵H(X)；(b)认为有依赖性时的条件熵H(X2｜X1);(c)联合熵H(X1X2);(d)根据以上三者之间的关系，验证结果的正确性。

5、有两个二元随机变量X和Y，它们的联合概率分布函数如下表：

Y X01 01/8 3/81 3/8 1/8同时定义另一随机变量Z=X*Y，试求：

a、熵H(X),H(Z),H(X,Z)和H(X,Y,Z);

b、条件熵H(X|Y),H(X|Z),H(Y|X,Z);

c、互信息I(X;Y),I(X;Z),I(X;Y|Z);

五、[实验过程]

每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；

1)设计思路

1、每字符从26 个英文字母和1 个空格中等概选