【机器学习】频率学派和贝叶斯学派

    在概率理论里，我们通常会用密度估计（Density Estimation）来研究样本x的的概率分布问题。但是，有些人可能觉得这玩意似乎存在着不靠谱的地方。因为通常我们的可获得的样本数是有限的，我们无法准确得知事物本身的所有情况，理论上讲存在着的概率分布情况是有无穷多种的。事实上也是那样，任何一个非恒为0的分布都有可能拟合样本的概率分布。

 对于离散随机变量，我们可能会用二项分布或者多项分布来研究；对于连续随机变量，我们通常是用高斯分布来研究。这些都是带参数的分布模型，用的的参数一般也不外乎均值，方差等。为了用好这些模型，我们必须针对数据集来规划最好的参数。这个时候，有两个学派的观点，分别是频率学派（Frequentists）和贝叶斯学派（Bayesians）。

 总的来说，频率学派认为世界运行的规律是一定的，描述分布模型的参数也是固定的，具体体现在参数固定。 而贝叶斯学派认为世界的运行是随机的，就连运行规律本身也是随机性的，具体体现在参数是随机的，是有分布的

 在知乎上有一个关于贝叶斯学派与频率学派有何不同的回答，得到了上千次的支持。作者是这样比喻： 你看打麻将的时候：只看下面有什么牌来决策的就是频率学派；除了看下面有什么牌，还考虑了这个牌是谁打出的，什么时候打出的，这个人打出所有牌友什么联系等一系列问题的就是贝叶斯学派。

 比如现在你需要一个五万才能胡牌，你看了看下面一个五万都没有，所以你想当然的认为，如果还没有打出的麻将牌数是N，那么还没有打出的每一张牌是五万的概率是4/N。这种认为模型始终不变的方法就是频率学派的观点。 但是对于一个麻将高手而言，假如他看到某个人P经常打条子和饼子，偶然会打出三万和七万，那么虽然这位高手没有看到P打出五万，也可以猜测他手里应该至少有一张。那么，还没有打出的每N张牌中，每一张牌是五万的概率就不再是4/N了，具体是多少，得研究那个人P是怎么打牌的，还有其他人是怎么打牌的才可以建立模型。像这种随时根据场上的情况来变化，不断验证的思想，就是贝叶斯学派的观点。

 所以从某个角度来说，老年娱乐中心里打麻将的大爷大妈们都是贝叶斯学派。

参考： http://www.zhihu.com/question/20587681