最大熵模型

版权声明：博主原创文章，转载请注明来源，谢谢合作！！
https://blog.csdn.net/hl791026701/article/details/84679888

生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。

什么是熵？

 

1. 熵在统计物理中用于度量一个热力学系统的无序程序。热力学第二定律，又称“熵增定律”，表明了在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小。
2. 在信息论中，熵被用来衡量一个随机变量出现的期望值。它代表了在被接受之前，信号传输过程中损失的信息量，又称为信息熵。信息熵也称信源熵、平均自信息量。在1984年，香农将热力学的熵，引入信息论，因此它又被称为香农熵。