统计学习方法 第六章 逻辑斯谛回归与最大熵模型读书笔记

第六章 逻辑斯谛回归与最大熵模型

两者都属于对数线性模型

6.1 逻辑斯谛回归模型

6.1.1 逻辑斯谛分布

F(x) 非减，有界，连续------>F(x)为分布函数

f(x)关于x=μ对称，在此处取得最大时1/4γ

6.1.2 二项逻辑斯谛回归模型

将ω和x进行扩充，分别扩充b与1，ω·x+b可以简化成ω·x

• 该模型的输入输出变量间不存在线性关系
• 逻辑回归的输入变量可以是连续变量也可以是离散变量
• 参数估计采用最大似然估计法

特点

一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。

6.1.3 模型参数估计

6.1.4 多项逻辑斯谛回归

6.2 最大熵模型

最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型就是最好的模型

6.2.1 最大熵原理

6.2.2 最大熵模型的定义

原始问题和对偶问题

拉格朗日乘子法

α，β为拉格朗日乘子，α_i≥0，c_i(x)≤0，h_j(x)=0

考虑关于x的函数

采用遍历的方式将所有的 α,β 一个一个代入拉格朗日函数中那么就相当于我们已知 α,β 。那么上述函数就是关于 x 的函数，下标P代表primal。

至于要借用一个L函数即可完成，无需列出约束条件

原始问题的最优值

考虑α，β的函数，

D为dual

对偶问题的最优值

称为广义拉格朗日函数的极大极小问题。将广义拉格朗日函数的极大极小问题表示为约束最优化问题

如果原始问题与对偶问题都有最优解，则

6.2.3 最大熵模型的学习

6.3 模型学习的最优化方法

6.3.1 改进的迭代尺度法

算法 6.1 改进的迭代尺度算法IIS

6.3.2 梯度下降法

算法6.2 梯度下降法：最大熵模型