直观理解信息论概念（条件熵，联合熵，互信息，条件互信息）

1.概括图

其中：A=I(x;y|z)，B=I(x;z|y)，C=I(y;z|x)，D=I(x;y;z)

这里不难看出以下几点结论。
一、在某个条件下，意味着已知这部分条件的信息，在计算条件熵（熵即不确定度，或者从公式上看是信息量的期望）时就把这部分已知的信息给减去。
例如：
H(X|Y)=H(x)-I(x;y)
二、联合熵是对应的并集,认知上讲，X和Y的联合信息量，等价于已知X加上已知X基础上关于Y的，同样等价于已知Y加上已知Y基础上关于X的。
例如：
H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|X)
三、互信息是对应的交集，X和Y的互信息即X和Y公共的信息，等价于X减去已知Y后X还剩下的，同样等价于Y减去已知X后Y还剩下的。
例如：
I(x;y)=H(X)-H(X|Y)=H(Y)-H(Y|X)
四、条件互信息和条件熵类似，直观上计算可以参考概括图，几何上加减可推导相应的公式出来。概括图中，红色圆是H(X)，红色圆除去A、B、D这三部分后就是H(X|Y,Z)。黑色和紫色可同理。
例如：
I(x;y|z)=H(X)-H(X|Y,Z)-I(x;z)=H(X)-H(X|Y,Z)-(H(X)-H(X|Z))=H(X|Z)-H(X|Y,Z)

2.自信息

公式：

3.熵

公式：

4.联合熵

公式：

5.条件熵

公式：

6.互信息

公式：

7.条件互信息

公式：