信息论学习

信息论学习

学堂在线信息论学习笔记心得，欢迎讨论，来自https://next.xuetangx.com/learn/THU08071000428/THU08071000428/1515671/video/1352169

1. 条件熵和联合熵
   $H(X,Y|Z)=H(X|Z)+H(Y|X,Z)$

2. 互信息基本性质

   1. 对称性
      X,Y颠倒位置相等
   2. 非负性
      肯定大于等于零
   3. 级值性
      互信息不可能比自身还大
   4. 可加性

3. 例题

   1. 题目：25个铜币有一枚质量不同，通过天平最少能称量出的次数是多少
   2. Achievability
      利用小学的知识可以知道，可以实现3次就得到结果
   3. Converse(英文，逆的）
      证明3次是不是最少的次数
      $H(X)={\log }_{{}_2}25$ 25个可能性均匀分布
      $I(X{}^n,X)\le H(X^n)\le n\ast H(X)$
      $\le n\ast lo{g}_{{}_2}3$ 称量时候左偏 右偏 不偏三种
      进行n次实验得到的互信息 超过$H(X)$的不确定性的信息量
      所以$n\ast lo{g}_{{}_2}3\ge lo{g}_{{}_2}25$
      解得$n\ge 2.9299$

4. 鉴别信息（信息散度，度量距离）

   1. 鉴别信息不满足对称性和三角不等式关系
   2. 建立熵和鉴别信息之间的关系，等概分布信息量减去 等概分布到实际分布之间的距离剩下的就是这个香农熵
   3. 建立鉴别信息和互信息之间的关系

5. 凸集，连一条线中间的数都在集合里就是凸集，整数就不是凸集，1和2之间还有其他的数

6. Jensen不等式，为下边证明做准备
   
   

7. 通过上边的不等式可以得到鉴别信息是下凸的函数
   

8. 熵函数是上凸的，因为H = log|X| - D，D是下凸的，所以H是上凸的

9. I(X,Y)也是上凸的
   

10. Fano不等式 $P_e$是平均错码概率
    

11. 因为一个有理数如果一直写的话（像pi）一定是无穷 的，所以包含的信息量是无穷大的
    对于微分熵来说
    忽略了后边无穷大的项
    所以有可能会是负数的
    高斯分布时候的微分熵
    
    若给定均值和方差时候，当服从高斯分布时候微分熵最大

12. 香农第一定理