最大熵原理

  1. 最大熵原理

    最大熵原理是概率模型学习的一个准则,其认为学习概率模型时,在所有可能的概率模型中,熵最大的模型是最好的模型。

    通常用约束条件来确定概率模型的集合,然后在集合中选择熵最大的模型。

    直观地,最大熵原理认为要选择的概率模型首先必须满足已有的事实,即约束条件。在没有更多信息的情况下,那些不确定的部分都是等可能的。最大熵原理通过熵的最大化来表示等可能性,因为当X服从均匀分布时熵最大。

  2. 最大熵模型

    最大熵原理应用到分类得到最大熵模型。

    给定训练集 T = ( x 1 , y 1 ) , ( x

你可能感兴趣的:(深度学习专栏,机器学习专栏,人工智能学习专栏,机器学习,人工智能,算法)