信息与熵【上】生命以信息为食

也不知道这样理解对不对,管他呢,只要能重塑大脑连接,减少记忆成本就行

记得母校有一年的研究生入学考试中,《概率论》最后一道送命题大概是这样的:

学渣小明在做一道选择题,由于小明完全不会做只能从ABCD中蒙一个答案,恰在此时小明看到同桌小红给这道题选择了C,鉴于小红也不是学霸,小明认为正确答案是C的可能性只有50%。

求小红带给小明的信息量?(11分)

小明最后当然会选C,毕竟有50%的把握,那作为“考生之外的考生”的研究生们该如何分析这道题呢?正确答案是0.21比特。对于当时还没有接触过信息论的我来说,看到0.21这个数简直一脸懵逼。其实0.21是一个近似值,准确的表达式是1.5-log2(6)*0.5,然后我就更懵逼了。

信息与熵【上】生命以信息为食_第1张图片

这道题其实非常简单,甚至不能作为考研最后一道大题。小红为小明带来的0.21bit减少了那道选择题的信息熵,小明的熵减少了,自然就敢选C了。至于1.5-log2(6)*0.5到底是怎么来的,先别着急,因为本文不仅要告诉你它的解题思路,还要用这道题带你走进信息论的大门,迎接新的世界观。

 

▶️ 信息熵 = 热力学熵 ◀️

首先要明确的一点就是,信息熵 = 热熵。这俩货是同一个东西,连公式都一模一样(一个用

你可能感兴趣的:(数学之美,信息论,哲学)