机器学习之【最大熵模型】

一、最大熵模型

1.最大熵模型(Maximum Entropy Model)由最大熵原理推导实现。

1.最大熵原理

2.示例

3.定义

二、最大熵模型的学习

• 最大熵模型的学习可以形式化为约束最优化问题。
• 对于给定的数据集以及特征函数:f i (x,y)
• 最大熵模型的学习等价于约束最优化问题:

• 这里,将约束最优化的原始问题转换为无约束最优化的对偶问题,通过求解对偶问题求解原始间题:
• 引进拉格朗日乘子,定义拉格朗日函数:

• 最优化原始问题到对偶问题:

求得P(y|x)

1.原例子的最大熵模型

三、模型学习的最优化算法

• 最大熵模型学习归结为以似然函数为目标函数的最优化问题,通常通过迭代算法求解,它是光滑的凸函数,因此多种最优化的方法都
适用。
• 常用的方法有:
•改进的迭代尺度法
•梯度下降法
•牛顿法
•拟牛顿法

四、最后示例