信息论基础知识1

1.1    自信息定义：把某个消息出现的不确定性大小，用这个消息出现的概率的对数表示：

        I(X)=-logp(x)

1.2   在任何一个信息流通的系统中，都有一个发出信息的发送端（信源），有一个接收信息的接收端（新宿），以及信息流通的通道（信道）。在信息传递的过程中不可避免的会有噪声，所以有一个噪声源。为了把信源发出的消息变成适合在信道中传输的信号，还需加入编码器，在送到信宿之前要进行反变换，所以要加入译码器。

1.3    编码器分为信源编码器和信道编码器。信源编码器的目的是压缩信源的冗余度（即多余度），提高信息传输的效率，这是为了提高系统通信的有效性。

1.4    平均自信息，或称信息熵：事件集所包含的平均信息量，他表示信源的平均不确定性，比如抛掷一枚银币的实验所包含的平均信息量。

           平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。

1.5  互信息：一个事件yi所给出关于另一个事件xi的信息定义，用I(xi;yi)表示

                 I (xi;yi)=I(xi)-I(xi|yi)=log   p(xi|yi)/p(xi)

      1.6  我们用平均自信息来表征整个信源的不确定度。平均自信息又称信息熵，信源熵，简称熵。 

1.7  随机变量X的每一个可能取值的自信息I(xi)的统计平均值定义为随机变量X的平均自信息量。

                

信息熵H(X)是对信源的平均不确定性的描述。

1.8  熵函数：信息熵H(X)是随机变量X的概率分布的函数

  性质：

   1：对称性：

    2.非负性：

    3.递推性：