最大熵模型—读数学之美

 

保留全部的不确定性，使得熵最大，风险最小。

 

最大熵原理：对一个随机事件的概率分布进行预测时，要满足全部的已知条件，对未知的情况不要做主观假设，概率分布越均匀，预测风险越小。要保留所有的不确定性。

 

举例：拼音转汉字

1.根据语言模型：wang-xiao-bo，可以翻译为“王小波”和“王晓波”。

2.根据主题，王小波是作家，王晓波是台湾研究两岸关系的学者。

 

建立一个最大熵模型，同时满足这2种条件。Csiszar证明，对任何一组不自相矛盾的信息，最大熵模型不仅存在，而且唯一，即指数函数。以下公式，根据上下文（前2个词）和主题预测下一个词的最大熵模型。w3是要预测的词，w1和w2是w3之前的词，subject是主题。

公式中的参数，需要根据数据进行模型训练。

 

最大熵模型的几个典型应用：词性标注、句法分析、机器翻译、股票预测。