【读书笔记】贝叶斯原理

频率学派和贝叶斯学派

	频率学派	贝叶斯学派
概率的定义	事件重复若干次后频率的极限	事件发生的不确定程度
判别方法	没有先验概率；要求事件是可重复的	有先验概率
描述不确定程度	置信区间或p值	后验概率
求解方法（测量全世界大学生的平均身高）	认为这是一个确定值，用极大似然估计求解	认为不同值都有一个概率，用贝叶斯定理求解后验概率

条件概率的来源

• 除了逻辑学中正误确定的论断，还应考虑有不确定可信度的论断。类似于\(B\rightarrow A\)的逻辑推断，当我们得到新信息时，相关论断的可信度也应发生变化。比如，对于\(B\rightarrow A\)，当\(B\)的可信度提高时，\(A\)也应该提高（条件概率）；当\(A\)的可信度提高时，有时\(B\)也会提高（贝叶斯方法）

• 推导出唯一概率系统的考克斯公理

  

• 概率论是常识推断的定量表述

  ​ 类比逻辑论断\(B\rightarrow A\)，先验概率\(P(B)\)为假设\(B\)成立的概率，条件概率\(P(A|B)\)为推断“\(\rightarrow\)”成立的概率，联合概率\(P(\mathbf{A}, \mathbf{B})\)为两个假设同时成立的概率

• 条件概率的计算式来源

  • 根据第三条公理可知，联合事件发生的概率是由单一事件概率与条件概率决定的
  • 直观上来看，\(P(A|B)\)与\(P(B)\)越大，联合事件发生的概率越大
  • 乘法能保证概率值始终在\([0,1]\)区间
  • 因此有\(P(\mathbf{A}, \mathbf{B})=P(\mathbf{A} \mid \mathbf{B}) P(\mathbf{B})\)

贝叶斯公式

• 核心：利用变量间的相关性，用新得到的可观测变量的信息来更新对不可观测变量的估计

  • 当某一观测变量发生后，另一不可观测量的发生概率如何发生改变
  • 更新前的估计就是先验概率

• 举例

	不可观测量\(A\)	可观测量\(B\)	正向概率 \(P(B\mid A)\)	逆向概率 \(P(A\mid B)\)
发动机	发动机是不是坏了	声音不对	坏了过后的声音是不是这个声音？	听到这个声音，发动机是不是坏了？
抽球	盒子中不同颜色小球的比例	摸出小球的颜色	摸出小球可能是什么颜色？	盒中小球的颜色比例？
女神	女神是否喜欢你	女神对你笑	女神喜欢你的话，对你笑的概率有大？	女神如果对你笑了，喜欢你吗？

• 公式：\(P(A \mid B)= \frac{P(B \mid A)P(A)}{P(B)}\)

  可以理解为\(P(A,B) = P(A \mid B)P(B)=P(A)P(B \mid A)\)，同一相关关系的不同描述角度

  

• 求解：

  以女神为例，要计算\(P(A \mid B)\)，带入公式计算其余各项即可

  • \(P(A)\)：女神之前就喜欢你吗？如果是路人，还是设置为50%的概率吧
  • \(P(B|A)\)：喜欢一个人大概率会笑吧，可以设置为60%
  • \(P(B)\)：女神平时傻笑吗？高冷的话可以设置为40%

  计算后可得，喜欢你的先验概率提升为75%了！感谢贝叶斯！

贝叶斯公式的应用

• 垃圾邮件筛选（垃圾邮件、敏感字词）
• 疾病检测（得病，报告）
• 贝叶斯方法可能是解决小样本学习的关键方法