[Python嗯~机器学习]---最大熵模型和多分类

最大熵模型和多分类

熵可以看做是用来描述信息量的。最大熵模型属于运用最大熵原理的多分类模型。

[Python嗯~机器学习]---最大熵模型和多分类_第1张图片[Python嗯~机器学习]---最大熵模型和多分类_第2张图片

熵是随机变量不确定性的度量,不确定性越大,熵越大。

给定一定条件的最大熵:
在给定期望和方差的基础上,均匀分布的熵最大。

[Python嗯~机器学习]---最大熵模型和多分类_第3张图片

[Python嗯~机器学习]---最大熵模型和多分类_第4张图片[Python嗯~机器学习]---最大熵模型和多分类_第5张图片
带约束的极值问题,用拉格朗日函数来解决。

最大熵模型

[Python嗯~机器学习]---最大熵模型和多分类_第6张图片
给定约束条件的求极值问题,用拉格朗日函数函数求解。
[Python嗯~机器学习]---最大熵模型和多分类_第7张图片[Python嗯~机器学习]---最大熵模型和多分类_第8张图片
[Python嗯~机器学习]---最大熵模型和多分类_第9张图片[Python嗯~机器学习]---最大熵模型和多分类_第10张图片

总结:
[Python嗯~机器学习]---最大熵模型和多分类_第11张图片[Python嗯~机器学习]---最大熵模型和多分类_第12张图片
[Python嗯~机器学习]---最大熵模型和多分类_第13张图片[Python嗯~机器学习]---最大熵模型和多分类_第14张图片
[Python嗯~机器学习]---最大熵模型和多分类_第15张图片[Python嗯~机器学习]---最大熵模型和多分类_第16张图片
最大熵模型和logistic回归:

[Python嗯~机器学习]---最大熵模型和多分类_第17张图片
逻辑回归就是在给定情况之下,熵最大的一种分类。

[Python嗯~机器学习]---最大熵模型和多分类_第18张图片[Python嗯~机器学习]---最大熵模型和多分类_第19张图片

我们从最大熵的思想出发得出的最大熵模型,最后的最大化求解就是在求P(y|x)的对数似然最大化。逻辑回归也是在求条件概率分布关于样本数据的对数似然最大化。二者唯一的不同就是条件概率分布的表示形式不同

逻辑回归是最大熵模型的一种特殊情况。

 

你可能感兴趣的:(菜鸟鹏鹏哥哥的机器学习)