最大熵模型基础知识

最大熵模型是指在预测结果时，不添加任何主观判断的一种预测模型。

比如扔色子的点数预测，我们就是基于最大熵原理预测1-6点每个出现的概率是1/6.

如果某个面做了特殊处理，出现的概率高，那么其他面出现的概率就是，在满足这个约束条件下，平均分布其他各点的概率。

比如：3点的出现概率是1/3，那么其他点出现的概率是2/3*1/5=2/15. 这就是最大熵模型。

注意事项：

1、最大熵的计算公式是指数形式。

2、原理简单，但实现复杂。

一般步骤：

1、利用训练集，确定最大熵公式中的各个参数。这些参数如果因为训练集超出实际，则减少参数值，直到收敛。

2、根据最大熵公式，给出预测结果。