信息论通识课程:建立过渡性的模型时应遵循最大熵原理(过犹不及)

文章目录

  • 引言
  • I 最大熵原理
    • 1.1 含义
    • 1.2 最大熵模型的优势
    • 1.3 弊端
    • 1.4 结论
  • II 最大熵原理的应用
    • 2.1 自然语言处理
    • 2.2 对冲基金

引言

要把道理总结得简单易懂,自己需要有深刻的理解,在科学上,要得到形式简单的规律,反而要做更多的工作。

人类不可能等到建立起牛顿力学才制定历法,等到门捷列夫画出元素的周期表才开始寻找基本元素。在寻找到这样的本质规律之前,可能需要有很多过渡性的模型,让它们来帮助我们解决当下的问题,在建立那些过渡性的模型时应该遵循最大熵原理。

I 最大熵原理

最大熵模型在形式上是最漂亮、最完美的统计模型,在效果上也是最好、最安全的模型。

1.1 含义

当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要作任何主观假设。这样的概率模型会使得熵,也就是不确定性,达到最大值,因此这种模型被称为“最大熵模型”。相应的,建立模型的原则就被称为最大熵

你可能感兴趣的:(#,理解计算机,算法,机器学习,人工智能)