第六章 逻辑斯谛回归与最大熵模型

6.1 逻辑斯谛回归模型

6.1.1 逻辑斯谛分布(logistic distribution)

设X是连续随机变量，X服从逻辑斯蒂分布是指X具有以下分布函数和密度函数：

逻辑斯谛分布

逻辑斯谛分布

分布函数图形是一条S形曲线，该曲线以点(μ,1/2)为中心对称，即满足

中心对称

曲线在中心附近增长速度较快，在两端增长速度较慢。形状参数γ值越小，曲线在中心附近增长的越快

6.1.2 二项逻辑斯谛回归模型(binomial logistic regression model)

二项逻辑斯谛回归模型

逻辑斯谛回归比较P(Y=1|x)和P(Y=0|x)的大小，将实例x分到概率值较大的那一类。

特点：几率指该事件发生的概率与不发生的概率的比值：p/1-p，对数几率logit(p)=log(p/1-p)

对逻辑斯谛回归而言：

6.1.3 模型参数估计

参数估计

6.1.4 多项逻辑斯谛回归 (multi-nomial logistic regression model)

多项逻辑斯谛回归

6.2 最大熵模型

6.2.1 最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型

最大熵

6.2.2 最大熵模型的定义

最大熵模型

6.2.3 最大熵模型的学习

6.2.4. 极大似然估计

最大熵模型

6.3 模型学习的最优化算法

6.3.1 改进的迭代尺度法(improved iterative scaling, IIS)

IIS

6.3.2 拟牛顿法