统计学习方法：逻辑斯蒂回归和最大熵模型

1 逻辑斯蒂回归模型
logistics分布是指X具有以下的分布函数和密度函数：


1.1 二项逻辑帝斯回归模型
是一种分类模型，由条件概率表示，随机变量X为实数，随机变量Y取值为0或1。
模型如下

对于给定输入实例x，按照上面两个式子，分别计算两个概率，将x分类为概率高的类。
几率：一个事件发生的概率和不发生的概率的比值。对数几率是log(p/（1-p）)
对逻辑帝斯回归，
输出y=1的对数几率是输入x的线性函数。

1.2 模型参数估计
极大似然估计估计模型参数。

学习到w的估计值，模型为

2 最大熵模型
2.1 最大熵原理
最大熵原理认为要选择的概率模型首先要满足给定的事实，即约束条件，在没有更多信息的情况下，不确定的部分都是‘等可能的’。最大熵原理通过熵的最大化来表示等可能性。
特征函数：用函数f来表示输入x和输出y之间的某一个事实，它是一个二值函数。
特征函数关于经验分布P（X,Y）的期望值，和关于模型P( X|Y)和经验分布P(Y|X)的期望值相等（即贝叶斯公式）
我们将上式当做模型的约束条件，如果有n个特征函数f，就有n个约束条件。
最大熵模型：满足所有约束条件的模型集合中，定义在条件概率分布P(Y|X)上的条件熵是，模型集合中条件熵最大的模型叫做最大熵模型。
学习过程在给定数据条件下对模型进行极大似然估计或者正则化的极大似然估计。
使用拟牛顿法或者迭代尺度算法来计算。