【Math】先验分布、后验分布、贝叶斯公式 （Prior Distribution Posterior Distribution and Bayesian Formula）

【Math】先验分布、后验分布、贝叶斯公式 （Prior Distribution Posterior Distribution and Bayesian Formula）

为了进行贝叶斯公式的简单推导，在推导之前先介绍条件概率：
$$P(A|B)=\frac{P(AB)}{P(B)}$$
意思为事件$A$在事件$B$发生的条件下发生的概率可以记为，$P(A|B)$， $|$读作 given，$P(AB)$表示事件$A$和事件$B$同时发生的概率。在了解了条件概率之后，来推导贝叶斯公式（Bayesian Formula），对于条件概率$P(B|A)$，则有
$$\begin{gathered} P(B|A)=\frac{P(AB)}{P(A)} \\ P(AB)=P(B|A)P(A) \end{gathered}$$
将$P(AB)=P(B|A)P(A)$代回到$P(A|B)$的定义中，则得到了贝叶斯公式（Bayesian Formula）
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
可以将上述贝叶斯进行改写，
$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}$$
其中，$X$被称为样本（可以理解为结果），$\theta$是决定样本分布的参数（可以理解为原因），其中各个量的理解如下

• $P(X)$ is evidence （证据）
• $P(\theta )$ is prior （先验分布）
• $P(\theta |X)$ is posterior （后验分布）
• $P(X|\theta )$ is likelihood （似然分布）

在样本$X$给定的条件下，参数$\theta$的条件分布被称为$\theta$的后验分布，它集中了总体、样本和先验等三种信息有关$\theta$的一切信息。一般来说，先验分布$P(\theta )$是反映抽样前对$\theta$的认识，后验分布$P(\theta |X)$是反映抽样后对$\theta$的认识，之间的差异是由于样本的出现后对$\theta$认识的一种调整，所以后验分布$P(\theta |X)$可以看作用总体信息和样本信息对先验分布$P(\theta )$作调整的结果。