15.信息论

物理世界是由信息和能量组成的。

宇宙爆炸，信息和能量一同出现

世界上任何一种物质都可以用信息量化。

能量守恒，单信息不守恒

能量守恒定律是自然界普遍的基本定律之一。

一般表述为：

• 能量既不会凭空产生，也不会凭空消失，

• 它只会从一种形式转化为另一种形式，

• 或者从一个物体转移到其它物体，而能量的总量保持不变。

• 也可以表述为：一个系统的总能量的改变只能等于传入或者传出该系统的能量的多少。

人类之间分享知识是一件可以为这个世界创造纯粹增量事情

• E = MC²

• 爱因斯坦

能量=物质*光速²

能量和物质是相通的，

• 香农定律

• [图片上传失败...(image-d52aec-1651147581764)]

• 式中，C 代表信道也就是传输通道可传送的最大信息速率，简称为信道容量；

• B 代表信道也就是传输通道的带宽；S/N 代表接收信号的信噪比；lb代表以2为底的对数。

• 香农公式有其成立条件，基于AWGN信道，即加性白高斯噪声信道。

• 所谓加性白高斯噪声，是指信道的噪声在频谱上均匀分布，幅度上呈正态分布。

信息熵 information entropy

image.png

无效的信息

• 模棱两可

• 平均用力

信息量 Amount of information

• 比特 bite

霍夫曼编码 Huffman Coding

image.png

奥卡姆剃刀 Occam's Razor

• 如无必要，勿增实体

人生指导

• 大刀阔斧做减法

• 围绕关键领域饱和配置资源

帧间压缩算法

image.png

• 关注变化

• 忽略重复

• 可以使我们的学习效率提升N倍

• 集中精力夯实基础知识

• 只关注新知识的增量

互信息 Mutual information

相关性 ≠ 因果性

image.png

相关性：生活是错综复杂的，而记忆是主观的

• 改革开放后，一批成功的企业家

• • 成功

  • • 个人奋斗 vs 国家经济发展背景

• b站账号

• • 标签

  • • 经常看健身 美食 军事

    • 可能是自己 也可能是表弟进去看的

信息等价

• 商品盒子上的照片，说明盒子里面的商品

• 今天天气很好，蓝天白云，风和日丽，阳光明媚

冗余度 redundancy

• 工程领域 保证系统运作安全

• • 服务器，电源

  • 飞机双引擎

  • 骑车备胎

  • 比特币记账模式

• 在表达上 更好服务于人类的认知习惯

• • 标点符号

时代进步，人类接受的冗余度也在减少，接受高密度信息

• yyds 永远滴神

• xswl 笑死我了

• zqsg 真情实感

• nbcs nobody cares

减少冗余度

• 画分析框架

• • 三步法

  • 先把关键概念零散的列出来

  • 寻找概念卡片之间的关联

  • • 分类

    • 链接

    • 去掉信息等价的卡片

  • 套用和矫正

• 海森堡 不确定性原理（Uncertainty principle）

• [图片上传失败...(image-5696f9-1651147581764)]

• 量子力学 - 科学的边界

• 我们的观察改变了客观世界

• 客观世界和主观世界之间的结合

粒子的位置与动量不可同时被确定，位置的不确定性与动量的不确定性遵守不等式，h 是普朗克常数。

越精确地知道位置，则越不精确地知道动量，反之亦然。