【机器学习】贝叶斯概率思维笔记

课程来源

知乎live-贝叶斯概率思维

目录

• 贝叶斯概率
• 贝叶斯定理
• 贝叶斯估计
• 贝叶斯网络
• 推荐书籍
• 涉及名词

前言

规则VS统计

基于规则的理性主义：如专家系统
基于统计的经验主义：如贝叶斯
基于规则需要专业知识体系，容易定义，但通用性不高。
基于统计则需要数据，并且相关性容易造成误导。
规则-演绎（柯南破案）
经验-归纳（神农尝百草）

贝叶斯思维

频率派VS贝叶斯派

频率派

通过长期、大量、重复实验：发生的频率（大数定律）
参数是常数
概率是客观存在的常数

贝叶斯派

信则有，不信则无
参数是随机变量

贝叶斯概率

先验概率：P(A)
后验概率：P(A|B)（已知B的前提下对A的信念）

贝叶斯定理

贝叶斯定理：
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
已知先验，计算后验

通俗解释

问题：白马上坐着的不一定是王子，还可能是唐僧。那么，如何确定是王子还是唐僧。
P(A): 已知白马上坐着的可能是王子，也可能是唐僧。
P(B|A): 坐着的是王子时，后边大概率跟着的是仪仗队。如果是唐僧，后边跟着的大概率是三个徒弟。这样就可以根据白马后的场景（P(B)）来判断白马上坐的是谁（P(A|B)）

频率派和贝叶斯派的比较

对于一种病来说，如果药物对病症的有效率有95%，但是对非病者有5%的中毒率，那频率派认为这个药是可以使用的。但是如果这个病是罕见病，则贝叶斯定理会得出一个很小的数。因为P(A)太低了。对正常人来说，虽然中毒率低，但是基数过大，因此对最后结果有很大的影响。

贝叶斯估计

最大似然估计

最大似然估计（频率派思维）
参数：$parameter=\theta$
数据: $D=\{d_1,d_2....d_n\}$
$${\mathrm{argmax}}_{\theta }p(\theta |D)\iff {\mathrm{argmax}}_{\theta }p(D|\theta )$$
$$likelihood={\mathrm{argmax}}_{\theta }p(D|\theta )$$
当你已知一组数据时，要去分析参数是多少，才能使这组数据出现的概率最大。就叫最大似然估计。
这属于频率派思维，但是它没有考虑数据D出现的概率是多少。

最大后验估计

最大后验估计（MAP）（贝叶斯派）（如果知道先验概率）
$${\mathrm{argmax}}_{\theta }p(\theta |D)\iff {\mathrm{argmax}}_{\theta }p(D|\theta )p(\theta )$$
需要考虑先验概率$p(\theta )$
像是在最大似然估计上加一个修正项。有一些贝叶斯的思想

贝叶斯估计

最大后验估计还不是纯正的贝叶斯思维，如果按照贝叶斯定理，则
$$p(\theta |D)=\frac{p(D|\theta ))p(\theta }{\int p(D,\theta )d\theta }$$
贝叶斯估计公式：
$$p(\hat{y}|x^{\ast },D)={\int }_{\theta }p(\hat{y}|x^{\ast },\theta )p(\theta |D)d\theta$$
(积分理解成求和，可以连续可以离散)
贝叶斯适合解决数据不平衡的问题

总结

最大似然估计对数据量需求最大，因为没有任何先验知识的修正，但是也会因此导致过拟合。
最大后验估计和贝叶斯估计有先验知识的修正，所以对数据量需求不大。但是坏处是需要好的先验知识。

贝叶斯网络

与神经网络没有关系，和概率图模型更接近。

推荐书籍

《贝叶斯方法：概率编程与贝叶斯推断》
《统计学习方法》
《像计算机科学家一样思考python》

涉及名词

达特茅斯会议
Alpha-go 蒙特卡洛树搜索【基于统计的概率计算】
拉斯维加斯算法
马尔科夫性
隐式马尔可夫链