机器学习强基计划2-1:一文总结熵——交叉熵、相对熵、互信息(附例题分析)

目录

  • 0 写在前面
  • 1 宇宙演化的熵增定律
  • 2 量化信息的熵
  • 3 最大熵原理
  • 4 相对熵及其不对称性
  • 5 交叉熵与条件熵
  • 6 互信息

0 写在前面

机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理;“广”在分析多个机器学习模型:决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

详情:机器学习强基计划(附几十种经典模型源码合集)

1 宇宙演化的熵增定律

在开始前,我们可以先思考几个现象:

  • 为什么很久没人住的房子看起来越来越破败?
  • 为什么打碎的杯子没办法自发地复原?
  • 为什么我们的代码工程总是不可避免地越来越臃肿?
  • 为什么生命必然衰败走向死亡?
  • 为什么…

上述现象的本质就用熵增定律来揭示:在一个封闭的系统内,事物一定会不可避免地自发地向混乱、无序的方向发展<

你可能感兴趣的:(机器学习强基计划,机器学习,人工智能,概率论)