信息熵

在学习机器学习相关算法时碰到信息熵概念,因为毕业工作一年多时间,数学知识都还给了学校,所以只能业余时间学习数学相关知识。
信论产生背景这里就不介绍了,大家自行google或者百度。

信息熵

信息熵是用来衡量信息的大小,就像长宽高是用来衡量物体大小,时分秒是用来衡量时间大小。信息熵也有自己的单位–bit,bit就是衡量信息大小的单位。信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序,信息熵就越低。
假设随机时间发生概率为Pi,他的不确定性度量的函数f(Pi)具有三种性质
1. Pi概率越大f(Pi)越小
2. f(Pi)是非负的
3. 多随机事件同时发生存在的总不确定性的度量,可以表示为各时间不确定性度量的和。

信息熵等于所有不确定性度量的平均
H=-(P1* logP1+…Pn * logPn)
P1…Pn是事件的概率
logP 是概率的已二为底的对数

你可能感兴趣的:(数学)