最大熵模型学习优化案例

最大熵模型

最大熵模型的学习等价于约束最优化问题：

案例：

已知有A,B,C,D,E五种可能出现的情况，已知A,B出现的概率之和是3/10，所有五个出现概率之和为1，使用最大熵模型进行优化获得这五种情况的概率分布。

该问题主要通过使用拉格朗日的对偶性，然后通过求解对偶最优化问题得到解。

所以我们有：

第一步，求解原始问题：

第二步，利用拉格朗日乘子法：

第三步：对偶问题求解：

最终结果为：

这里我们先固定w0和w1，然后对L(P,w)求偏导数，可以带入得到

后我们可以通过另这些偏导为0，解得：

然后将P（y1）-- P（y5）全部代入L（P,w）,然后可以获得最小值,再去求解极大化问题：

再去对这个函数进行对w0、w1的求偏导并=0，可以得到

所以得到：

就得到最后的结果了。