熵的相关知识

1.概述
     熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。

 

2.科学哲学

　　科学技术上泛指某些物质系统状态的一种量（liàng）度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。熵是不能再被转化做功的能量的总和的测定单位。这个名称是由德国物理学家鲁道尔夫·克劳修斯〔鲁道尔夫·克劳修斯(1822—1888)〕德国物理学家，热力学的奠基人之一。于1868年第一次造出来的。但是年轻的法国军官沙迪·迦诺〔沙迪·迦诺(1796—1832)〕一般译作“卡诺”，法国物理学家、工程师，在研究热机效率的过程中，提出了“卡诺循环”定理。却比克劳修斯早41年发现了熵的原理。迦诺在研究蒸汽机工作原理时发现，蒸汽机之所以能做功，是因为蒸汽机系统里的一部分很冷，而另一部分却很热。换一句话说，要把能量转化为功，一个系统的不同部分之间就必须有能量集中程度的差异(即温差)。当能量从一个较高的集中程度转化到一个较低的集中程度(或由较高温度变为较低温度)时，它就做了功。更重要的是每一次能量从一个水平转化到另一个水平，都意味着下一次能再做功的能量就减少了。比如河水越过水坝流入湖泊。当河水下落时，它可被用来发电，驱动水轮，或做其他形式的功。然而水一旦落到坝底，就处于不能再做功的状态了。在水平面上没有任何势能的水是连最小的轮子也带不动的。这两种不同的能量状态分别被称为“有效的”或“自由的”能量，和“无效的”或“封闭的”能量。
　　熵的增加就意味着有效能量的减少。每当自然界发生任何事情，一定的能量就被转化成了不能再做功的无效能量。被转化成了无效状态的能量构成了我们所说的污染。许多人以为污染是生产的副产品，但实际上它只是世界上转化成无效能量的全部有效能量的总和。耗散了的能量就是污染。既然根据热力学第一定律，能量既不能被产生又不能被消灭，而根据热力学第二定律，能量只能沿着一个方向——即耗散的方向——转化，那么污染就是熵的同义词。它是某一系统中存在的一定单位的无效能量。

 

3.信息论

　　在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。
　　熵在信息论中的定义如下：
　　如果有一个系统S内存在多个事件S = {E1,...,En}, 每个事件的机率分布 P = {p1, ..., pn}，则每个事件本身的讯息为
　　
　　（对数以2为底，单位是位元(bit)）
　　
　　（对数以e为底，单位是纳特/nats）
　　如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的讯息量为
　　
　　；而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为
　　
　　整个系统的平均消息量为
　　
　　这个平均消息量就是消息熵。因为和热力学中描述热力学熵的玻耳兹曼公式形式一样，所以也称为“熵”。
　　如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。
　　实际上每个字母和每个汉字在文章中出现的次数并不平均，因此实际数值并不如同上述，但上述计算是一个总体概念。使用书写单元越多的文字，每个单元所包含的讯息量越大。
　　I(A)度量事件A发生所提供的信息量，称之为事件A的自信息，P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值，若它们出现的概率分别为p1,p2,…，pN,则这些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]称为熵。

 

4.基本特性
　　·熵均大于等于零，即，。
　　·设N是系统S内的事件总数，则熵。当且仅当p1=p2=...=pn时，等号成立，此时熵最大。
　　·联合熵：，当且仅当X，Y在统计学上相互独立时等号成立。
　　·条件熵：，当且仅当X，Y在统计学上相互独立时等号成立。
　　·社会学意义：从宏观上表示世界和社会在进化过程中的混乱程度。