D3/15-K11《数学之美》信息理论的几个概念

今天这部分主要讲信息系统的一些基本概念,主要有信息熵、互信息、相对熵。其实含义很简单,分别表示信息的复杂度,他们的相关性,不同函数之间的相关性几个概念,对应还有相关的公式。

按霍金老先生的说法,每增加一条公式,就减少一半的读者。就不一一罗列了。

重点是,看似很高大上的几个概念,他们如何用于实践的?

相对熵用于判断论文是否抄袭。互信息用于解决自然语言识别中的字词二义性问题。信息熵则可以衡量比较一组信息的复杂度。

一旦将枯燥数学概念和具体有趣的问题相联系,兴趣和好奇心也就自然有了。


D3/15-K11《数学之美》信息理论的几个概念_第1张图片
图片发自App

D3/15-K11《数学之美》信息理论的几个概念_第2张图片
图片发自App

你可能感兴趣的:(D3/15-K11《数学之美》信息理论的几个概念)