信息论学习

信息论

香农信息论的“信息”并不包含意义。
信息论传递的是信息/消息/讯息/信号，其中：
（1）消息/讯息是信息的载体，消息=讯息；
（2）对消息编码得到信号。

香农的通信结构

发送器对讯息编码，得到适合在信道（传输信号的媒介）上传输的信号。
信息论是应用数学的一个分支，它量化了一个信号/消息/讯息所包含的信息的多少，即讯息的信息量=多少比特/奈特。
信息论要解决的问题：在一点精确地或近似地复现在另一点所选取的消息。
人交流的目的：在脑中复现别人脑中所选取的信息。
给定一个消息，它的信息量就确定了。
它们的转化关系：信息 <=> 消息/讯息 <=> 信号。
信息不是传递，而是复现。（因为给定消息，信息就确定了，并且，消息是信息的载体，所以这里也可以说复现消息/讯息，当然，说复现信号也是可以的）
信息论和密码学本质是同一件事，信号 => 加噪 => 复现信号，消息 => 加密 => 复现消息。

自信息=信息量

一个事件（发生了所携带）的自信息=I(x)=这个事件发生时所携带的信息量。
一个不太可能发生的事件发生了，它所携带的信息量是比较大的。
一个消息说一个很可能发生的事件发生了，则这条消息所包含的信息是非常少的，即它的信息量很小。
一个消息的信息量=I(x)的累加=它所描述的事件（前提是这些事件是互相独立的，X的取值与Y无关）的自信息的累加。
事件即随机变量取某个值， 事件发生即随机变量取了某个值。

信息熵/香农熵

信息熵就是自信息/信息量的期望，（事件发生的概率乘上事件发生的信息量，再累加），故信息熵是（事件发生所携带的）信息量的平均值。
热力学中的熵刻画了系统的混乱程度，系统总是自发地朝熵增的方向演化。
信息熵是什么？-知乎
有四匹马{A, B, C, D}，一场比赛中，它们获胜的概率分别为{1/2, 1/4, 1/8, 1/8}，构建哈夫曼树，得到这四匹马的哈夫曼编码为{0, 10, 110, 111} =>
则平均编码长度/码长的平均取值为1.75比特（越可能胜利的马，越可能出现的字符，编码长度应该越短），即信息熵是数据压缩的临界值（下界） =>
哈夫曼编码是平均码长最小的编码 =>
随机变量越有可能的取值，编码长度应该越短，这个事件的信息量越小，即自信息＝编码长度 =>
平均需要通过1.75个二元问题才能确定哪匹马获得了胜利，即为了确定随机变量取值所需要的代价 =>
信息熵是随机变量不确定程度的度量。随机变量不确定性越大，则信息熵越大 => H(X)，X为随机变量。
信息熵是概率分布不确定性的量化 => H(P)，X~P(X)。

联合熵、条件熵和互信息

联合熵：H(X, Y) = H(X) + H(Y) - I(X, Y)，它是多维随机变量不确定程度的度量。
条件熵：给定X，Y的不确定程度的度量，H(Y|X) = H(Y) - I(X, Y)。
互信息：给定X，Y的不确定性为H(Y|X)，相较于原来的不确定性H(Y)，这个不确定性的减少量就是X和Y的互信息，I(X, Y) = H(Y) - H(Y|X)。
互信息的另外一种解释：互信息指的是两个随机变量的关联程度，即给定一个随机变量，另一个随机变量不确定性的削弱程度。
互信息的理解
若X和Y独立，则I(X, Y) = 0，即给定X对确定Y没有帮助，此时H(X, Y) = H(X) + H(Y)。
若Y可由X推导得到，即给定X，能完全消除Y的不确定性，则I(X, Y) = H(Y)，则H(X, Y) = H(X)。

相对熵和交叉熵

相对熵又称为KL散度，用于衡量两个分布的差异，最小化KL散度，等价于最小化交叉熵。（更多详见《深度学习》花书）
交叉熵是新的平均码长（错误地以为X服从Q分布，则会有一套新的哈夫曼编码），相对熵则是平均码长的增量（X的香农熵即正确的哈夫曼编码所对应的平均码长，这为最小平均码长）。
KL散度被视作两个分布之间的某种距离，然后并不是真的距离，因为它不具有对称性。
分布P和Q的交叉熵为H(P, Q)，注意，它和联合熵H(X, Y)看起来有一点相似......