频率学派 和 贝叶斯学派

网上各种大佬的讨论非常精彩，摘录一些。

参考一

作者：任坤
链接：https://www.zhihu.com/question/20587681/answer/17435552
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

简单地说，频率学派与贝叶斯学派探讨「不确定性」这件事时的出发点与立足点不同。频率学派从「自然」角度出发，试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。举例而言，想要计算抛掷一枚硬币时正面朝上的概率，我们需要不断地抛掷硬币，当抛掷次数趋向无穷时正面朝上的频率即为正面朝上的概率。然而，贝叶斯学派并不从试图刻画「事件」本身，而从「观察者」角度出发。贝叶斯学派并不试图说「事件本身是随机的」，或者「世界的本体带有某种随机性」，这套理论根本不言说关于「世界本体」的东西，而只是从「观察者知识不完备」这一出发点开始，构造一套在贝叶斯概率论的框架下可以对不确定知识做出推断的方法。频率学派下说的「随机事件」在贝叶斯学派看来，并不是「事件本身具有某种客观的随机性」，而是「观察者不知道事件的结果」而已，只是「观察者」知识状态中尚未包含这一事件的结果。但是在这种情况下，观察者又试图通过已经观察到的「证据」来推断这一事件的结果，因此只能靠猜。贝叶斯概率论就想构建一套比较完备的框架用来描述最能服务于理性推断这一目的的「猜的过程」。因此，在贝叶斯框架下，同一件事情对于知情者而言就是「确定事件」，对于不知情者而言就是「随机事件」，随机性并不源于事件本身是否发生，而只是描述观察者对该事件的知识状态。总的来说，贝叶斯概率论为人的知识（knowledge）建模来定义「概率」这个概念。频率学派试图描述的是「事物本体」，而贝叶斯学派试图描述的是观察者知识状态在新的观测发生后如何更新。为了描述这种更新过程，贝叶斯概率论假设观察者对某事件处于某个知识状态中（例如：小明先验地相信一枚硬币是均匀的，可能是出于认为均匀硬币最常见这种信念），之后观察者开始新的观测或实验（小明开始不断地抛硬币，发现抛了100次后，居然只有20次是正面朝上）。经过中间的独立重复试验，观察者获得了一些新的观测结果，这些新的观测将以含有不确定性的逻辑推断的方式影响观察者原有的信念（小明开始怀疑这枚硬币究竟是不是均匀的，甚至开始断定硬币并不均匀）。在这一过程中，观察者无法用简单的逻辑来推断，因为观察者并没有完全的信息作为证据，因此只能采用似真推断（plausible reasoning），对于各种各样可能的结果赋予一个「合理性」（plausibility）。例子中，小明原先认为硬币的分布是均匀的，于是根据小明原有的信念，这个论断合理性非常高；在观察到100次抛掷中只有20次正面朝上后，小明开始怀疑硬币的均匀性，此时小明很可能认为「硬币不均匀」这一推断的合理性很高，支持的证据就是他刚刚实验的观测结果。上面的例子用贝叶斯概率论的语言来描述，就是观察者持有某个前置信念（prior belief），通过观测获得统计证据（evidence），通过满足一定条件的逻辑一致推断得出的关于该陈述的「合理性」，从而得出后置信念（posterior belief）来最好的表征观测后的知识状态（state of knowledge）。这里，贝叶斯概率推断所试图解决的核心问题就是如何构建一个满足一定条件的逻辑体系赋予特定论断一个实数所表征的论断合理性的度量（measure of plausibility），从而可以允许观测者在不完全信息的状态下进行推断。这里，观察者对某变量的信念或知识状态就是频率学派所说的「概率分布」，也就是说，观察者的知识状态就是对被观察变量取各种值所赋予的「合理性」的分布。从这个意义上来讲，贝叶斯概率论试图构建的是知识状态的表征，而不是客观世界的表征。因此，在机器学习、统计推断中，许多情况下贝叶斯概率推断更能解决观察者推断的问题，而绕开了关于事件本体的讨论，因为没有讨论本体的必要性。参考：《概率论沉思录》// 补充（从对其他回答的评论中转移过来）：贝叶斯概率仍然只是一个实数，而概率分布是推断者根据自己的知识状态赋予参数在某集合内取各个值的可信度，因此概率分布表征了推断者的知识状态。 例如：一个硬币可能取正面或反面，某推断者的知识状态是对于「下一次会得到正面」赋予1／3的可信度（概率），「下一次得到反面」赋予2／3的可信度（概率），总的这个知识状态才是表证这个推断者的概率分布，这边是一个先验分布（可能来源于对这枚硬币的事先了解），随着他一直投掷硬币作实验，这位观测者会不断更新自己的知识状态，一个后验分布（另一组更新后的对正反面的看法，即赋予的可信度）来最好地表征推断者的最新的知识状态。 因此，贝叶斯概率和分布仍然是两个不同的概念，只是设定概念的动机不同。

注：理解两者的关键一点就是要明白，两者的立场不同。频率学派描述的是事件本身，而贝叶斯学派描述的是观察者。

参考二

作者：许铁-巡洋舰科技
链接：https://www.zhihu.com/question/20587681/answer/122348889
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。首先谈概率，概率这件事大家都觉得自己很熟悉， 叫你说概率的定义 ， 你却不一定说的出，我们中学课本里说概率这个东西表述是一件事发生的频率， 或者说这叫做客观概率。而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案， 他说概率是我们个人的一个主观概念， 表明我们对某个事物发生的相信程度。 如同Pierre Lapalace说的: Probability theory is nothing but common sense reduced to calculation. 这正是贝叶斯流派的核心，换句话说，它解决的是来自外部的信息与我们大脑内信念的交互关系。我们来看一下贝叶斯统计的一个有趣的案例案例：假如你是一个女生， 你在你的老公书包里发现了一个别的女人的内裤那么他出轨的概率是多少。 稍微熟悉这个问题的人对会知道做这个题目你要先考察基率，你要把这个问题分解为几步考虑：1，你老公在没有任何概率情况下出轨的概率是多少？ 如果他是个天生老实巴交的程序员或者风流倜傥的CEO， 那么显然不该一视同仁2，如果你老公出轨了， 那么他有一条内裤的概率是多少， 如果他没出轨， 出现这个情况概率有多少？ 想想一般人即使出轨也不会犯那么傻的错误， 会不会有没出轨而出现内裤的状况？ 有没有可能是某个暗恋你老公的人的陷害？3， 根据1 和2求解最终问题，这才是拥有大学数学能力的你该做的分析。在这里1其实就是先验概率P（A），而2是条件概率P（B|A）， 最终得到3后验概率P（A|B）。这三种即是贝叶斯统计的三要素。基于条件概率的贝叶斯定律数学方程极为简单： A即出轨， B是内裤出现， 你得到1，2，就可以根据公式算出根据根据内裤出现判断出轨的概率。先验概率在贝叶斯统计中具有重要意义，首先先验概率即我们在取得证据之前所指定的概率P（A）， 这个值通常是根据我们之前的常识，带有一定的主观色彩。 就像刚刚说的出轨的问题， 你的先验概率代表了你对你男人的信心。贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用， 它告诉我们当我们要预测一个事物， 我们需要的是首先根据已有的经验和知识推断一个先验概率， 然后在新证据不断积累的情况下调整这个概率。整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析。

参考三

http://www.jinciwei.cn/j218342.html