《信息理论基础》（一）

2.1 信源的数学模型及分类

• 离散信源：信源输出的都是单个符号，符号集的取值是有限的或可数的

• 连续信源：输出信号的符号集是取值连续的，或取值是实数集

• 离散平稳信源

  • 信源输出的随机序列 中，每个随机变量 都是取值离散的随机变量，即每个随机变量的可能取值是有限的或可数的。
  • 而且随机矢量的各维概率分布都与时间起点无关，也就是说任意两个不同时刻随机矢量的各维概率分布都相同。

• 连续平稳信源

  • 若将信源的输出表示成维随机矢量 来描述，其中每一个随机分量 都是取值为连续的连续性随机变量（即 的可能取值是不可数的无限值），
  • 并且满足随机矢量的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量 的各维概率密度函数都相同

• 离散无记忆信源的扩展信源

  • 信源空间： 为信源的信源空间，信源的概率空间是一个完备集

    概率空间：概率空间是一个总测度为1的测度空间

    测度空间：构造一个集函数，它能赋予实数集簇М中的每一个集合E一个非负扩充实数mE。我们将此集函数称为E的测度。

    集函数：集函数是测度论中定义的概念，是以集类为定义域的函数。

    集类：过于复杂。。。和集合有很大区别

  • 多符号离散平稳信源 中符号的随机变量 都取值与同一个信源空间

  • 多符号离散平稳信源 中各变量 之间统计独立

  • 总结两个意思

    • 单符号离散无记忆信源：概率空间是无记忆的，不随时间变化
    • 多符号离散无记忆信源：各各符号之间是统计独立的，不存在干扰

• N次扩展信源的信源空间

  • 信源 有 个符号，每一个符号 均来自信源空间 ，所以一个消息（ ）中的 个符号均来自 中的具体值。这个关系表明扩展信源的每个符号取值与同一个单符号信源空间。

  • 服气：一件简单的事非得说的谁也不明白

• 有记忆信源：随机变量 之间是相互依赖的。

• 马尔可夫信源：

  • m阶马尔可夫信源就是每次发出的符号只与前m个符号有关，与更前面的符号无关。

• 时齐马尔可夫信源：

  • 马尔可夫信源，且与时间起点无关

• 随机波形信源：时间与取值都是连续的

---

离散信源的信息熵

• 若一随机事件的概率为 ，它的自信息的数学定义为

• 如果以2为底，取得的信息量单位为比特（bit），如果以e为底，称为奈特（nat），如果以10为底，称为哈特（Hart）。
• 条件自信息 定义为

---

信息熵

• 定义为自信息的数学期望为信源客观上的平均信息量，成为信源的信息熵

• 表示信源发出的任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。
• 信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。

---

信息熵的基本性质

• 非负性
• 对称性（假的，不对没有这个）
• 确定性，概率为一就一定会发生
• 连续性：当有微小波动时，波动趋于0时，信息熵无影响
  • 若信源的取值增多时，若这些取值的概率很小，则信息熵不变
  • 虽然概率很小的事件出现后，给予收信方较多的信息。但总体来考虑，因为这种概率很小几乎不会出现，所以它在熵的计算中占的比重很小。
  • 这是熵的总体平均性的体现
• 扩展性：拆分而已
• 可加性：任何复杂的问题都可以分布解决

• 递增性：拆分后其信息熵增加
• 极值性：任何离散信息源，不论它取何种概率分布，所得的信息熵一定不会大于等概率分布时的信息熵。
• 上凸性：因为当函数具有上凸性时，其值域中一定存在极大值

上凸性