MaxEnt: 最大熵模型(Maximum Entropy Models)(一)

刚看完HMM，因为有个ME-HMM方法，所以再看看最大熵模型，最后再把CRF模型看看，这一系列理论大体消化一下，补充一下自己的大脑，方便面试什么的能够应付一些问题。

多读书，多思考，肚子里才有东西。

==========

什么是熵？咱们这里只看信息以及自然界的熵吧。《Big Bang Theory》中Sheldon也经常把这个熵挂在嘴边。在咱们的生活中，你打碎了一块玻璃，或者洒落了一盒火柴，很自然的事情就是玻璃碎的一塌糊涂，根 本没有规律可言。火柴也是，很乱，你难道从中找到规律么？规律是什么东西？规律的反面是什么？其实很有意思的事情就是自然界的东西尽可能的互补以及平衡， 火柴很乱，那就规律性很小。

乱+序=1.

既然=1，那么这个乱也能描述啦？这就是熵的概念，熵是描述事物无序性的参数，熵越大则无序性越强。

我们更关注的是信息熵，怎么用熵来描述信息，不确定性等等。怎么用数学式子进行形式化描述呢？前人已经做了很多工作了：

设随机变量ξ ，他有A 1 、A 2 ....A n 共n 个不同的结果，每个结果出现的概率为p 1 ，p 2 ....p n ，那么ξ 的不确定度，即信息熵为：

H ( ξ ) = ∑ i = 1 n p i log 1 p i = − ∑ i = 1 n p i log p i

熵越大，越不确定。熵为0，事件是确定的。例如抛硬币，每次事件发生的概率都是1/2的话，那么熵=1：H(X)=-(0.5log0.5+0.5log0.5)=1。

那么这个式子是怎么来的呢？为什么会用log表示？我也不知道啊，查查文献。不过【参考5】中举了几个简单的例子来说明一下过程，这里引用下。

==========

例子：称硬币的问题，说有5个硬币，其中有一个是假的，这个假硬币的重量很轻，所以打算用一个天平称称，问需要最少称几次就能够保证 把这个假硬币给找出来？这个问题其实是一个很经典的问题，也有另外一个类似的问题是毒水和白鼠的问题，5瓶水其中一瓶有毒，用最少几只白鼠能够保证把毒水找出来？

其实这个问题有个统一的解法就是对半分呗，二叉树，二进制等。

拿硬币的例子，可以取四个放在天平两端，如果相等那么剩下的那个就是假的。如果不相等，把轻的一端的两个硬币再称一次就知道假的了。因为这样称两次就能够保证把假硬币找出来了。这里称的事件是有三个结果的：左边重、相等、右边重。

拿小白鼠的例子，小白鼠只有活着和中毒两种状态，咱们这里人性一点儿，有解药可以解毒的，只要实验达到目的就行。那么把水分成两组，一组两瓶，一组 三瓶，让一只小白鼠和一组，如果中毒，假设是三瓶的那一组，那么再递归的讲这三瓶分组，最坏情况下是用3只小白鼠。这里小白鼠的事件只有两个结果：中毒、 健康。

我们假设x是那瓶毒水的序号，x ∈ X = { 1 , 2 , 3 , 4 , 5 } ，y是第i只小白鼠的症状，y ∈ Y = { 1 , 2 } ,，1表示健康，2表示中毒。

用二进制的思想的话就是设计编码y 1 y 2 . . . y n 使他能够把x全部表示出来。因为一个y只有两个状态，所以要有三个y并列起来才能表示2 × 2 × 2 = 2 3 = | Y | 3 = 8 > 5 。所以是用三只小白鼠。上面称硬币的问题由于一个y可以表示三个状态，所以需要两个3 ∗ 3 = 9 > 5 就可以表示完所有的x了。

思想是这样的，从上面的分析可以看出，我们只用到的是x ，y 的状态，而没有用x ，y 的内容以及意义。也就是说只用了X 的“总不确定度”以及Y 的“描述能力”。

拿小白鼠和毒水的例子，X 的"总不确定度":H ( X ) = log | X | = log 5 。Y 的“描述能力”为：H ( Y ) = log | Y | = log 2 。

所以至少要用多少个Y才能够完全准确的把X表示出来呢？

H ( X ) H ( Y ) = log 5 log 2 = 2.31

所以得用三只小白鼠。称硬币那个问题由于Y 的表示能力强啊，l o g 3 的表示能力，所以表示X 的时候仅仅需要1.46的y就行了，所以就是称2次。【这样子思考貌似有问题。。。】

那么为什么用l o g 来表示“不确定度”和“描述能力”呢？前面已经讲过了，假设一个Y 的表达能力是H ( Y ) 。显然，H ( Y ) 与Y 的具体内容无关，只与| Y | 有关。所以像是log | Y | n 这种形式，把n就可以拿出来了，因为关系不大所以扔掉n就剩下log | Y | 了。

“不确定度”和“描述能力” 都表达了一个变量所能变化的程度。在这个变量是用来表示别的变量的时候，这个程度是表达能力。在这个变量是被表示变量的时候，这个程度是不确定度。而这个可变化程度，就是一个变量的熵（Entropy） 。显然：熵与变量本身含义无关，仅与变量的可能取值范围有关。

==========

下面看称硬币以及小白鼠毒水问题的一个变种：

（1）已知第一个硬币是假硬币的概率是三分之一；第二个硬币是假硬币的概率也是三分之一，其他硬币是假硬币的概率都是九分之一。（2）毒水也是，第一瓶是毒水的概率是1/3。。。以此类推。

最后求称次数或者小白鼠数量n的期望。因为第一个、第二个硬币是假硬币的概率是三分之一，比其他硬币的概率大，我们首先“怀疑”这两个。第一次可以把这两个做比较。成功的概率是三分之二。失败的概率是三分之一。如果失败了，第二次称剩下的三个。所以，期望值是：

1 3 × log 3 log 3 + 1 3 × log 3 log 3 + 1 9 × log 9 log 3 + 1 9 × log 9 log 3 + 1 9 × log 9 log 3 = 4 3

小白鼠的也可以同理求出来。为什么分子会有log 3 、log 9 呢？其实分子的log 3 、log 9 表示的都是“不确定度”。事件发生的确定性为1/3，那么不确定度可以理解为log 3 = log 1 1 / 3 ，再除以y的“表达能力”，就是每一次猜测的输出结果了，再根据期望公式∑ i x i p i 就可以求一下期望。不知道理解的对不对？

==========

更广泛的，如果一个随机变量x的可能取值为X = { x 1 , x 2 , . . . , x k } ，要用n位y : y 1 y 2 . . . y n 表示出X来，那么n的期望是：

∑ i = 1 k p ( x = x i ) log 1 p ( x = x i ) log | Y | = ∑ i = 1 k p ( x = x i ) log 1 p ( x = x i ) log | Y |

其实分子式不确定度，分母就是表达能力。那么X 的信息量为：

H ( X ) = ∑ i = 1 k p ( x = x i ) log 1 p ( x = x i )

这就是熵的定义了是吧？我们就算凑出来了。X的具体内容跟信息量无关，我们只关心概率分布，于是H(X)可以写成：

H ( X ) = ∑ i = 1 k p ( x ) log 1 p ( x )

==========

有时候我们知道x,y变量不是相互独立的，y的作用会影响x的发生，举个例子就是监督学习了，有了标记y之后肯定会对x的分布有影响，生成x的概率就会发生变化，x的信息量也会变化。那么此时X的不确定度怎么表示呢？

H ( X | Y ) = ∑ ( x , y ) ∈ X × Y p ( x , y ) log 1 p ( x | y )

这个其实就是条件熵Conditional Entropy。很显然，Y加入进来进行了标记之后，就引入了知识了，所以会减小X的不确定性，也就是减小了熵。所以知识能够减小熵。

那么有了部分标记，我们就有了知识，就可以预测一部分模型，这个模型对未知的知识还是保留着熵，只是这个熵被减少了。但是我们知道熵越大，数据分布越均匀，越趋向于自然。

所以我们就想，能够弄出个模型，在符合已知知识的前提下，对未知事物不做任何假设，没有任何偏见。也就是让未知数据尽可能的自然。这就是最大熵模型(Maximum Entropy Models)了。