你知道机器学习中的熵有几种吗？

今天故事的主人公叫做小A ，是一个开发工程师，面临时代的变革开始自行学习算法，打算转行做人工智能，然而当他遇到第一个面试问题时就开始慌了，问题也不难，面试官问小A：“什么是熵，常见的熵有哪些？”这是一个非常基础的算法问题，但是小A却并没有回答出来，因为小A 像大多数程序员一样，专注于代码的研究和忽略基础的算法原理。在这里我要提醒广大的程序员，如果想转行做算法，切记数学思维是灵魂，算法是肢体，代码是实现手段这样一个逻辑关系。切不可重代码轻算法。否则，就会像小A一样忽略了主体，成为代码机器。好了，言归正传，今天我们就来探讨一下熵。
熵的概念最早起源于热力学，是在1865年由德国物理学家克劳修斯提出来用来衡量热力学第二定律的。而第二定律的另一种表述形势，就是熵增加原理。但是初期熵的概念并没有统计学意义，直到1877年，奥地利物理学家玻尔茨曼提出了著名的玻尔茨曼关系公式，赋予了熵的统计学含义。就连爱因斯坦也曾评述说:熵理论，是科学的第一原则。总体来说，熵是用来衡量分子混乱程度的物理量。所以，可见熵的提出，对于各个学科都具有很重要的意义。而，今天我们所谈论的是在机器学习中所出现的信息熵。

详情请关注公众号哦！