【创想】信息熵，时代信息印记

信息• 熵 • 信息

文| 雯雨霏

信息，如今充斥着我们的生活中。打开手机，打开电脑，连上网络，可以说我们和外界沟通的通道就被打开了。各种信息涌入，所有人都被各种信息包围着，所以，无论是主动还是被动接收着信息，毫无疑问的一点是，我们生活在信息时代。

最近有一个词叫“信息熵”，关于“熵”，首先是物理上的一个含义，“是对一个信息系统不确定性的度量”。这里的“熵”和热力学中熵的概念相同，意思是对于一个系统无序的度量。这里共同都指向一个概念“不确定性”。这是吴军老师在《数学之美》中提到的，“信息量和不确定性有关，信息和消除不确定性是相联系的。”

专业词汇往往蕴含了丰富的内涵。信息如此多，可不可以被量化？如果我们想要了解信息对我们产生的作用，要如何去衡量呢？为什么有时候会觉得有的信息量大，有的信息量小呢？

在考虑如何去衡量信息之前，先从直观的感性角度来看，什么样的信息我们会觉得信息量大呢？比如同样去到一个地方，如果是在日常生活过的环境，比如家、公司，怎么去这样的信息我们会觉得信息量大吗？显然不会，因为这样的信息对我们来说很熟悉，没有任何记忆负担，是非常“确定”的。然后如果我们去到的是一个陌生的、从来没有去过的地方，在用地图搜索的时候，这时候所有出现的信息，几乎都会受到我们的关注，这时的信息量对我们来说就会大许多，因为我们想要了解的是“不确定”的。

所以，当不确定性增加时，自然就需要更多的信息来填补，由此可见，信息量和不确定性之间的关系。而这个“信息熵”的概念，便成了这样的度量，“信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量”。也就是说“信息是消除系统不确定性的唯一办法”。

就像刚才找路的例子，我们对于熟悉的东西，往往因为已经熟悉，也就是在脑中已经形成了固定的回路，所以我们调用的时候就不用再花费过多的精力，而对于不熟悉的东西，比如做一个研究报告，这个结果不是我们一下子可以得出的，而是需要去搜集整理分析很多信息之后，得到结果。

通俗一点讲，我们都知道information是信息、情报的意思。日语里还专门有“情报”这个词，很明显，之所以想要得到情报，是想要知道更多，也就是说，情报的作用，就是“排除不确定性”。而“几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定性的过程”。

熟能生巧，从陌生到熟悉，当生出“巧”时，从不确定到越来越确定，信息熵也许在此过程中也从大逐渐变小。刚刚使用的是成语“熟能生巧”，四个字就包含了丰富的含义，就如同上文出现的专业词汇。有没有发现，当同样一本书的不同语言版本，汉语要比英文薄得多。于是，这里就引出另一个变量“冗余度（redundancy）”。

冗余度和重复有关，重复多，信息量小，冗余度大。汉语的使用习惯里，“汉语冗余度低”，因为没有那么多重复的信息。而这一点，特别体现在我们的成语或古诗词中。比如，“千山鸟飞绝，万径人踪灭。”有时候甚至仅仅用名词，就可以展现出意境，“枯藤老树昏鸦，小桥流水人家。”精炼的汉语是专业的，几乎没有重复，冗余度低，信息量大，所以信息熵也会大，因为要用更大量的信息去解释。

至此，了解了关于信息熵的两个变量，不确定性和冗余度。从不确定性上来说，变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。同样，冗余度低，所包含的具体信息量就大，要去解码的信息量也就大。

所以关于之前提出的问题：

“信息可不可以被量化？”是的。
“信息量如何去衡量呢？”用信息熵。
“为什么有时候会觉得有的信息量大，有的信息量小呢？”我们会觉得信息量大，是因为不确定性大，或者冗余度低，反之亦然。

我们会有这样的感觉，当走进一个很混乱的房间，如果需要去打扫，那第一感觉就是肯定觉得要花不少时间去打扫，打扫势必就要花不少精力，心情也会受到很大影响，心情的愉悦度也会大打折扣。而若是一个非常整洁干净的房间，不用说，心情的愉悦度自然会提高。也许这也是为何“断舍离”会如此盛行的原因之一吧，因为可以节省多余的精力，容易让心情变好。“一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。”

其实信息之所以会如此之多，就是因为我们人类，因为制造信息的源头在我们这里。就像如果房间收拾干净，自然不用再花过多的精力，如同对一件事若足够了解，自然也不必再用很多信息量去填补，信息熵也就自然不会很高。但是如果不了解，那就好好去搜集整理分析提炼信息，苏格拉底说，“我唯一知道的就是我不知道。”人类文明发展中，不确定性始终伴随，信息熵，时代信息印记，未来也许会来得更猛烈，但也许已经来临。

# 无戒365极限挑战日更营 第 93 天 #