统计学习-逻辑回归(LR)和最大熵模型

逻辑回归（logistic regression）

是统计学习中的经典分类方法。最大熵是概率模型学习中的一个准则，将其推广到分类问题得到的最大熵模型（maximum entropy model）。LR和MEM都属于对数线性模型。

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布 P(Y|X) ,形式为参数化的逻辑斯蒂分布。这里 X 随机变量为实数， Y 随机变量为1或者0：
P(Y=1|X)=exp(w∗x+b)1+exp(w∗x+b)
P(Y=0|X)=11+exp(w∗x+b)
给定测试样本 x ，按照上式分别计算 P(Y=1|X)和P(Y=0|X) ,然后比较两者的大小，将 x 分到概率值较大对应的一类。（PS：只有当偏置 b=0 的时候，才是与0.5进行比较，大于0.5分为1类，小于0.5分为0类。）

模型参数估计

因为已经可以获得条件概率的参数化形式，我们可以直接利用极大似然（后验概率）估计法估计模型参数。
设： P(Y=1|X)=p(x),P(Y=0|X)=1−p(x)
似然函数： ∏Ni=1[p(xi)]yi[1−p(xi)]1−yi
对数似然函数：
L(w)=∑Ni=1[yilog(p(xi))+(1−yi)log(1−p(xi))]=∑Ni=1[yilog(p(xi))−yilog(1−p(xi))+log(1−p(xi))]=∑Ni=1[yilog(p(xi)1−p(xi))+log(1−p(xi))]=∑Ni=1[yi(w∗x+b)−log(1+exp(w∗x+b))]

最大熵模型

最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时在所有可能的概率模型中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以最大熵原理可以表述为在满足约束条件模型集合中选取熵最大的模型。