信息论初级——信源概述——2020-11-11

信息论初级——信源概述

内容：
一、信源的数学模型以及分类
二、离散信源信息熵以及其性质
三、随机波形信源
四、信源的冗余度

   关于连续与离散的一些思考：我觉得，连续的本质是离散，即万物皆离散。在定义中，连续的例子有语音信号、热噪音信号等，这些例子如果以生活的角度去看，确实是连续的，因为你发音的时候喉咙是一直在震动的，发出的声音是“连续”的，但是如果将你发出声音的单位时间无限缩小，其实你发出的声音是一帧一帧的，就跟电影录像带一样。**
      
1.离散信源的信息熵以及其性质：
      ——自信息：某个随机变量所携带的信息量
              I（x）= - log P（x）  log默认是以二为底的对数；p(x)为先验概率。
              在事件发生前，I（x）代表事件 包含的不确定性。事件发生后，I（x）代表事件所提供的信息量。

     ——信息熵：H(x)平均自信息量,单位是bit/符号；还包括联合熵与条件熵
     
     基本性质：
                       1.离散信息熵是非负的，非负性。
                       2.对称性，即调换信源内信息元的位置后所得的信息熵仍旧不变。
                       3.确定性，即当信源中有一信息元基本确定会出现时，其他信息元基本不会出现，故可得该信源的信息熵为0。
                       4.扩