逻辑回归与最大熵模型

本文为《统计学习方法》第6章笔记。

概论

逻辑回归与最大熵模型都属于对数线性模型,逻辑回归求解似然函数的极大值,得到参数w,最大熵模型先转对偶问题,求得条件概率模型,也是通过极大值求解得到w。涉及到最优化算法的部分都比较晦涩,由于本人理解得也不深刻,这里就不详细展开了。

逻辑回归模型

逻辑斯蒂分布

设X为连续随机变量,服从逻辑斯蒂分布的分布函数和密度函数分别为:

二项逻辑斯蒂回归模型

条件概率分布为:

将b扩充到w向量内,1扩充到x向量内,则方程简化为

几率:事情发生与不发生的概率之比。
对数几率
对逻辑回归而言,对数几率为

模型参数估计


似然函数为:

对数似然函数为:

对L(w)求极大值,得到w的估计值。一般使用梯度下降或拟牛顿法(代码中常见的BFGS算法)

多项逻辑斯蒂回归

最大熵模型

假设离散随机变量X的概率分布为P(X),则其熵为:

熵满足不等式:

|X|为X的取值个数,当X服从均匀分布时,熵最大。
熵最大原理:最好的模型是熵最大的模型。在没有更多信息时,不确定的部分都是等概率的。
给定训练数据集,联合经验分布和边缘经验分布为:

用特征函数f描述x和y之间的某一个事实:

f关于联合经验分布的期望值为:

f关于边缘经验分布及模型P(Y|X)的期望为:

如果模型能够获取数据中的信息,那么2个期望值应该相等

定义在P(Y|X)上的条件熵为:

满足所有约束的模型集合C为:

模型集合C中条件熵最大的模型成为最大熵模型,公式中对数为自然对数。
在约束条件下的求解,需要用到拉格朗日函数,然后转对偶问题,这里略去推导过程(可自行查询资料),对偶问题为:

先求得的解为

再求极大化问题,得到参数w的解。这需要用到最优化算法,常见的有改进的迭代尺度法(IIS)、梯度下降法、牛顿法、拟牛顿法(典型如BFGS)
这里稍微做点介绍:
IIS思路:假设能使得模型的似然函数增大,则更新
IIS最后求解的方程为:

如果是常数M(对任何x,y),则:

如果不是常数,可以通过牛顿法求解:
以表示以上(1)式,则:

拟牛顿法思路:牛顿法需要求解黑塞矩阵H的逆,较为麻烦,拟牛顿法考虑用一个n阶矩阵逼近H(BFGS算法)或H的逆(DFP算法)
BFGS算法更新逼近矩阵:

你可能感兴趣的:(逻辑回归与最大熵模型)