逻辑斯谛回归与最大熵模型-logistic regression and maximum entropy model

Logistic回归模型

WIKI

In statistics, the logistic model (or logit model) is a statistical model that is usually taken to apply to a binary dependent variable.

Logistic分布

曲线在中心附近增长速度较快，在两端增长速度较慢

Binomial logistic回归模型

条件概率分布

Logistic回归模型

模型参数估计-极大似然估计法

似然函数

对数似然函数

对L(w)求极大值，得到w的估计值

最大熵模型

最大熵原理

WIKI

The principle of maximum entropy states that the probability distribution which best represents the current state of knowledge is the one with largest entropy, in the context of precisely stated prior data (such as a proposition that expresses testable information).

• 最大熵原理是概率学习模型的一个准则。

• 最大熵原理也可以表述为在满足条件约束的模型集合中选取熵最大的模型。

• 最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是“等可能的”。

最大熵模型

• 最大熵原理是统计学习的一般原理，将它应用到分类得到最大熵模型。

• 学习的目标是用最大熵原理选择最好的分类模型。

最大熵模型的学习

• 最大熵模型的学习过程就是求解最大熵模型的过程。

• 最大熵模型的学习可以形式化为约束最优化问题。