【Math】先验分布、后验分布、贝叶斯公式 (Prior Distribution Posterior Distribution and Bayesian Formula)

【Math】先验分布、后验分布、贝叶斯公式 (Prior Distribution Posterior Distribution and Bayesian Formula)

为了进行贝叶斯公式的简单推导,在推导之前先介绍条件概率
P ( A ∣ B ) = P ( A B ) P ( B ) P(A|B) = \frac{P(AB)}{P(B)} P(AB)=P(B)P(AB)
意思为事件 A A A在事件 B B B发生的条件下发生的概率可以记为, P ( A ∣ B ) P(A|B) P(AB) ∣ | 读作 given, P ( A B ) P(AB) P(AB)表示事件 A A A和事件 B B B同时发生的概率。在了解了条件概率之后,来推导贝叶斯公式(Bayesian Formula),对于条件概率 P ( B ∣ A ) P(B|A) P(BA),则有
P ( B ∣ A ) = P ( A B ) P ( A ) P ( A B ) = P ( B ∣ A ) P ( A ) P(B|A) = \frac{P(AB)}{P(A)} \\ P(AB) = P(B|A)P(A) P(BA)=P(A)P(AB)P(AB)=P(BA)P(A)
P ( A B ) = P ( B ∣ A ) P ( A ) P(AB) = P(B|A)P(A) P(AB)=P(BA)P(A)代回到 P ( A ∣ B ) P(A|B) P(AB)的定义中,则得到了贝叶斯公式(Bayesian Formula)
P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) \textcolor{red}{P(A|B) = \frac{P(B|A)P(A)}{P(B)}} P(AB)=P(B)P(BA)P(A)
可以将上述贝叶斯进行改写,
P ( θ ∣ X ) = P ( X ∣ θ ) P ( θ ) P ( X ) P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)} P(θX)=P(X)P(Xθ)P(θ)
其中, X X X被称为样本(可以理解为结果), θ \theta θ是决定样本分布的参数(可以理解为原因),其中各个量的理解如下

  • P ( X ) P(X) P(X) is evidence (证据)
  • P ( θ ) P(\theta) P(θ) is prior (先验分布)
  • P ( θ ∣ X ) P(\theta|X) P(θX) is posterior (后验分布)
  • P ( X ∣ θ ) P(X|\theta) P(Xθ) is likelihood (似然分布)

在样本 X X X给定的条件下,参数 θ \theta θ的条件分布被称为 θ \theta θ的后验分布,它集中了总体、样本和先验等三种信息有关 θ \theta θ的一切信息。一般来说,先验分布 P ( θ ) P(\theta) P(θ)是反映抽样前对 θ \theta θ的认识,后验分布 P ( θ ∣ X ) P(\theta|X) P(θX)是反映抽样后对 θ \theta θ的认识,之间的差异是由于样本的出现后对 θ \theta θ认识的一种调整,所以后验分布 P ( θ ∣ X ) P(\theta|X) P(θX)可以看作用总体信息和样本信息对先验分布 P ( θ ) P(\theta) P(θ)作调整的结果。

你可能感兴趣的:(数学专栏,概率论,机器学习,人工智能)