• 又称信息熵
  • 数学定义:
  • 通俗解释:衡量变量分布不确定性的度量,不确定性越大则熵越大

条件熵

  • 数学定义:
  • 通俗解释:在另一个变量的条件下,当前变量的信息熵的大小

相对熵

  • 又称信息增益,或Information gain
  • 数学定义:
  • 通俗解释:条件变量对当前变量不确定性的影响程度的度量
    1.分类角度:已知在另一个变量的条件下,当前变量的确定程度;
    2.分布角度:衡量两个分布之间的相似程度(非对称)

你可能感兴趣的:(熵)