逻辑斯谛回归&最大熵模型

1、逻辑斯谛回归模型

逻辑斯谛回归是经典的分类方法。二项逻辑斯谛回归模型是如下条件概率分布：

下面我们考察逻辑斯谛回归的特点。

一个事件的几率（odds）是指该事件发生概率与该事件不发生的概率的比值。若事件发生概率为，那么该事件的几率为，该事件的对数几率（log odds）或logit函数是：

对逻辑斯谛回归而言：

因此在逻辑斯谛回归模型中，输出的对数几率是输入的线性函数。这就是逻辑斯谛回归的特点。

模型的参数估计可采用极大似然法，设：

似然函数为：

对数似然函数为：

使用梯度下降法求的估计值（注意这里的是加上偏置项扩充后的）。假设的最大似然估计值为，则学得的逻辑斯谛回归模型为：

2、最大熵模型

2.1、最大熵原理

最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。

直观地，最大熵原理认为要选择的概率模型必须满足已有的事实（即约束），在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性。

我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。

从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。

比如说随机变量有3个取值，要估计概率，这些概率满足：

除此之外没有任何信息。满足这个约束的概率分布有无穷多个，根据最大熵原理，取均匀分布时熵最大，因此：

2.2、最大熵模型

最大熵原理应用于分类得到最大熵模型。

假设分类模型是一个条件概率分布，给定训练数据集，可以确定联合分布的经验分布和边缘分布的经验分布。

其中表示训练数据集中样本的频数，表示训练数据集中输入出现的频数，为样本容量。

用特征函数描述输入和输出之间的某个事实，定义为：

特征函数关于经验分布的期望值为：

特征函数关于模型与经验分布的期望值为：

若模型能够获取训练数据中的信息，则可假设这两个期望相等（注意是我们的模型学得的结果）：

将上式作为模型的约束条件，设所有满足约束的模型集合为：

定义在条件概率分布上的条件熵为：

则模型集合中条件熵最大的模型称为最大熵模型。