信息熵

信息熵

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。

信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

理论提出

信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。

Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

信息含义

现代定义
 信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】

信息是确定性的增加。【逆香农信息定义】

信息是事物现象及其属性标识的集合。【2002年】
最初定义
 信息理论的鼻祖之一Claude E. Shannon把信息（熵）定义为离散随机事件的出现概率。

所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell’s Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。
计算公式
H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

公式

公理1：信息量是事件发生概率的连续函数；

公理2：信息量是有限值；

公理3：如果事件A和事件B的发生是相互独立的，则获知事件A和事件B将同时发生的信息量是单独获知两事件发生的信息量之和。

设事件发生的概率为P，

则满足上述公理的信息量函数为

信息量函数    I= -lnp   如何体现不确定性的消除？

 

 

 

 

熵的概念

18世纪中叶，物理学家在认识到运动物体有动能，地面上空的物体又有势能（两者即机械能）之后，又进一步认识到物体的内部也具有能量（即内能），这是人类对能量的认识和利用历史上的一次大飞跃。为了利用蕴藏在物体内部的能量，使它们转化为机械能，开动各式各样的机器，就需将研究热量和内能的热学与研究做功和机械能的力学相结合，形成热力学，以便探究内能和机械能之间的转化规律。

热力学最基本的规律是热力学第一定律和热力学第二定律（或熵增加原理），内能和熵就是与这两个基本定律相联系的两个重要的物理量。人们利用这些物理概念和物理规律，可更加合理、有效地开发和利用内能。此外，由于热运动的普遍性，一切过程，包括物理、化学、生命和宇宙等领域中的一切运动变化过程都必然遵循热力学基本规律。

“熵”这一概念的重要性不亚于“能”，它不仅应用于“热效率”这类对社会发展起到关键作用的科技领域，而且还广泛地应用于物质结构、凝聚态物理、低温物理、化学动力学、生命科学和宇宙学以及诸如经济、社会和信息技术等领域。

熵是描述自然界一切过程具有单向性特征的物理量

热传导、功变热和气体自由膨胀等物理过程具有单向性（或不可逆性）特征，热量能自发地从高温物体传到低温物体，但热量从低温物体传到高温物体的过程则不能自发发生；机械功可通过摩擦全部转化为热，但热不可能全部转化为机械功；气体能向真空室自由膨胀，使本身体积扩大而充满整个容器，但决不会自动地收缩到容器中的一部分。德国物理学家克劳修斯首先注意到自然界中实际过程的方向性或不可逆性的特性，从而引进了一个与“能”有亲缘关系的物理量——“熵” 。熵常用S表示，它定义为：一个系统的熵的变化ΔS是该系统吸收（或放出）的热量与绝对温度T的“商”，即

ΔS＝ΔQ/T      （1）

当系统吸收热量时，取为正；当系统放出热量时，ΔQ取为负。这里我们定义的是熵的变化，而不是熵本身的值。这种情况与讨论内能或电势能和电势时一样，在这些问题中重要的是有关物理量的变化量。

这样定义的熵是如何描述实际过程单向性特征的呢？以热传导过程为例，热量只能自发地从高温物体传向低温物体，而不能自发地从低温物体传向高温物体。设高温物体的温度为T1，低温物体的温度为T2，在热量ΔQ从高温物体转移到低温物体的过程中，高温物体熵变为ΔS1＝－ΔQ/T1 ，低温物体熵变为ΔS2＝＋ΔQ/T2 ，总系统熵变为ΔS＝ΔS2＋ΔS1＝ΔQ/T2 －ΔQ/T1 ，因为T1＞T2，所以总熵变ΔS＞0，这表明，在热传导过程中系统的熵增加了！反之，如果热量从低温物体自发地转移到高温物体而不存在其他任何变化，则因为ΔS2＝－ΔQ/T2 ；ΔS1＝＋ΔQ/T1 ，所以ΔS＝ΔS1＋ΔS2＝ΔQ/T1 －ΔQ/T2 ，且因T1＞T2，所以在这样的过程中总系统的熵变ΔS＜0，即系统的熵减少了！

自然界实际过程具有方向性特征这个客观事实表明，只有熵增加的过程才能自发发生。热量从高温物体传向低温物体时系统的熵增加，所以这样的过程能自发发生；反之，热量从低温物体传向高温物体时系统的熵减少，所以这样的过程不能自发发生。所谓自发发生的过程，就是指不受外界影响或控制而发生的过程。当一个系统与外界不发生相互作用时，这种系统称为“孤立系”，于是上述结论也可简单地表述为：在一个孤立系统中使熵增加的过程才是能够发生的过程。人们于是可通过熵变来判断某个过程（包括物理过程、化学过程、生命过程、宇宙演化过程等）能否发生。

热力学第一定律或能量守恒定律是关于能的法则——只有总能量不变的过程才是可能发生的过程；热力学第二定律（或熵增加原理）是关于熵的法则——总能量不变的过程不一定能够发生，只有当总能量保持不变，同时总熵增加的过程才可能发生。自然界中的一切过程都严格遵循这两条法则，人们利用这些法则，就能更自觉地理解和把握能量转化的规律，更加合理而有效地开发、利用蕴藏在物体内部的能量。

这里应当指出，热力学第二定律（或熵增加原理）并没有说，熵减少的过程（例如电冰箱或制冷空调机）不可能发生，而是说这样的过程不可能自发发生。为了使某个熵减少的过程A发生，必须另外附加一个同时发生的熵增加的过程B，且在过程B中熵的增加量大于过程A中熵的减少量，在这种情况下，包括过程A与过程B的总系统（这个系统对于我们所讨论的问题而言，就是孤立系）内总熵仍然是增加的。