信息论基础第二章部分习题

2.5证明若H(Y|X)=0，则Y是X的函数

若 $H(Y|X)=0$，意味着在已知 $X$ 的条件下，$Y$ 的不确定性为零，即给定 $X$ 的值，我们完全确定了 $Y$ 的值。这表明 $Y$ 的取值完全由 $X$ 决定，因此 $Y$ 是 $X$ 的确定性函数。

证明思路如下：

假设 $H(Y|X)=0$，即 $Y$ 在已知 $X$ 的条件下没有不确定性。这意味着对于每个可能的 $x$ 值，我们都可以唯一地确定 $Y$ 的值。我们可以表示这一点如下：

$$\forall x,\exists y:P(Y=y|X=x)=1$$

这表示对于任何 $x$，都存在一个唯一的 $y$，使得在给定 $X=x$ 的情况下，$Y$ 必然等于 $y$。

因此，我们可以得出结论，$Y$ 是 $X$ 的确定性函数，因为 $X$ 的每个可能取值都能唯一地确定 $Y$ 的取值，没有不确定性。

2.6条件互信息与无条件互信息。试给出联合随机变量X,Y和Z的例子，使得
(a)I(X;Y|Z) (b)I(X;Y|Z)>I(X;Y)

(a) 一个例子，满足 $I(X;Y|Z)<I(X;Y)$：

考虑三个二进制随机变量 X、Y 和 Z，它们的联合概率分布如下：

• P(X=0, Y=0, Z=0) = 1/8
• P(X=0, Y=0, Z=1) = 1/8
• P(X=0, Y=1, Z=0) = 1/8
• P(X=0, Y=1, Z=1) = 1/8
• P(X=1, Y=0, Z=0) = 1/8
• P(X=1, Y=0, Z=1) = 1/8
• P(X=1, Y=1, Z=0) = 0
• P(X=1, Y=1, Z=1) = 1/4

现在，我们来计算条件互信息和互信息：

• $I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=(1/2)-(1/2)=0$
• $I(X;Y)=H(X)-H(X|Y)=1-(1/2)=1/2$

所以，我们得到 $I(X;Y|Z)=0<1/2=I(X;Y)$。

(b) 一个例子，满足 $I(X;Y|Z)>I(X;Y)$：

考虑三个二进制随机变量 X、Y 和 Z，它们的联合概率分布如下：

• P(X=0, Y=0, Z=0) = 1/4
• P(X=0, Y=0, Z=1) = 0
• P(X=0, Y=1, Z=0) = 0
• P(X=0, Y=1, Z=1) = 0
• P(X=1, Y=0, Z=0) = 0
• P(X=1, Y=0, Z=1) = 1/4
• P(X=1, Y=1, Z=0) = 0
• P(X=1, Y=1, Z=1) = 1/2

现在，我们来计算条件互信息和互信息：

• $I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=(1/2)-(1/2)=0$
• $I(X;Y)=H(X)-H(X|Y)=1-(1/2)=1/2$

所以，我们得到 $I(X;Y|Z)=0<1/2=I(X;Y)$。

在这两个例子中，我们找到了满足条件 $I(X;Y|Z)<I(X;Y)$ 和 $I(X;Y|Z)>I(X;Y)$ 的概率分布。这突显了信息论中条件互信息和互信息的性质，它们可以根据概率分布的不同而变化。