归一化互信息(NMI)评价指标

信息熵

对信息进行量化度量。可以理解为某种特定信息的出现概率。

计算公式

相对熵

【百度百科】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。

计算公式

设是随机变量上的两个概率分布，则在离散与连续随机变量的情形下，相对熵的定义分别为：

值得注意的是，KL散度可以理解为距离，但不是真的距离，即p对q的相对熵与q对p的相对熵不相等。即：

互信息

【百度百科】互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

计算公式

设两个随机变量 的联合分布为，边缘分布分别为

互信息是联合分布与乘积分布的相对熵，即公式为：

归一化互信息(NMI)

顾名思义，将互信息放在[0,1]之间，容易评价算法的好坏。比较常见的归一化方法：

计算公式