信息论笔记整理(五)

信道编码

增加冗余,赋予码字自身的检错/纠错能力

信道容量

max ⁡ p ( x ) I ( X ; Y ) \max_{p(x)}I(X;Y) p(x)maxI(X;Y)

信道分类
  • 无噪声二元信道
    C=1
  • 无重叠有噪声信道
  • 有噪声打字机信道
  • 二元对称信道
    C=1-H§
  • 二元擦除信道
    C=1-α
对称信道

信道转移矩阵任意行可置换,任意列可置换

弱对称信道

信道转移矩阵任意行可置换
任意列元素和相等
C = l o g ∣ γ ∣ − H ( 矩 阵 的 行 ) C=log|\gamma |-H(矩阵的行) C=logγH()
字母表上分布均匀分布时达到

信道容量性质
  • 非负
  • 极值性
    C ≤ l o g ∣ χ ∣ C\leq log|\chi | Clogχ
  • 可达性
信道编码定理

离散无记忆信道,小于C的码率都是可达的

你可能感兴趣的:(信息论笔记整理)