信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)

数学基础：概率论乘法法则
两个事件相互独立：P(A∩B) = P(A)×P(B)
· 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率
· · 举个栗子：掷两枚硬币硬币同时立着的概率 = 掷一枚硬币立着的概率 × 再掷一枚
· · 硬币立着的概率。
两个事件非独立：P(A∩B) = P(A)×P(B|A) = P(B)×P(A|B)
· 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 在事件A发生的概率下事
· 件B发生的概率 = 事件B发生的概率 × 在事件B发生的概率下事件A发生的概率。

熵的概念

熵的非形式化概念

随机事件的不确定性，在密码学中将不确定性予以量化，并用熵来表示其不确定性的程度，值越大，不确定性越高，值为0时，为确定性事件。
熵是所包含的未知信息量。（某个事件的未知信息量越大，其不确定性就越大，对应的其熵值就越大）

熵的形式化概念

设事件X有x₁、x₂、x₃、… 、x_n共n中可能的结果，称为“自信息量”，记为I(x_i)
$$I(x_i)=-{\log }_{2}P(x_i)（发生的概率P越大信息量I就会越小）$$
自信息量的 数学期望¹就是事件X的熵，记作$H(X)$公式为:
$$H(X)=\sum _{i=1}^n[P(x_i)\times I(x_i)]=-\sum _{i=1}^n[P(x_i)\times {\log }_{2}P(x_i)]$$
如果结果x₁ ··· x_n的发生概率相等，则$I(x_i)$的 数学期望¹也就是H(X)的关系为
$H(X)=I(x_i)$
因此熵就是各个事件信息量的平均值。

熵 联合熵 条件熵

熵：$0\le H(X)=-{\sum }_{i=1}^n[P(x_i){\log }_{2}P(x_i)]\le {\log }_{2}n$

联合熵：
假设X和Y是 相互独立 的两个事件，X和Y同时出现的事件x_iy_j有 i×j 种结果，则XY同时出现的熵值为：
$$H(X,Y)=-\sum _{i=1}^n\sum _{j=1}^{m}P(x_i,y_j){\log }_{2}P(x_i,y_i)$$

条件熵：
事件Y发生的条件下，事件X的熵值
$$H(X|Y)-\sum _{i=1}^n\sum _{j=1}^{m}P(x_i,y_j){\log }_{2}P(x_i|y_i)$$

$p(x_i,y_j)$表示 x_i,y_j 结果同时发生的概率
$p(x_i|y_j)$表示 x_i 在 y_j 发生的情况下发生的概率

假设X和Y是 不独立 的两个事件，X和Y同时出现的事件x_iy_j也会有 i×j 种结果，则XY同时出现的熵值为，
定理：$H(X,Y)=H(X)+H(Y|X)$ (X,Y)不独立
推论：

• $H(X,Y)\le H(Y)+H(X|Y)$ （当X，Y独立时等号成立）
• $H(X|Y)\le H(X)$ （当X,Y独立时等号成立）

平均互信息

度量两个事件之间的相关性，用$I(X;Y)$表示

由图可知其有以下几条性质：

• I ( X ; Y ) = I ( Y ; X )
• I ( X ; Y ) $\ge$ 0 （当X,Y相互独立时为0）
• I ( X ; Y ) $\le$ H(X)或者$\le$ H(Y) （仅当X与Y相同时等号成立）
• I(X;Y)=H(X)-H(X|Y)
• I(X;Y)=H(Y)-H(Y|X)
• I(X;Y)=H(X)+H(Y)-H(Y∪X)

本篇仅说明了，熵的概念，以及熵的一些性质，和平均互信息的性质。之后会介绍熵这个概念应用于密码学的信息理论之中，在信息论中，命名为信息熵。用于抽象出密码学的本质，并以形式化的方式予以描述。

---

1. 数学期望：实验中每个可能出现的结果的概率乘以其结果的信息量。结果发生的概率越大，其信息量则越小。
   · 举个栗子：如果一个事件出现的所有结果都是等概率的，所以每个结果的信息量都相同，所以
   · 此事件的数学期望就等于其任意一个结果的信息量。（这里不明白没关系，记住公式就行） ↩︎ ↩︎