PT@全概率公式和贝叶斯公式@后验概率和信念度量

abstract

• 全概率公式和bayes公式及其应用
• 后验概率和信念度量

完备事件组(划分)

• 设有限集$I=\{1,\cdots ,n\}$;试验$E$的样本空间为$\Omega$
• 若$\{B_i;i\in I\}$满足:
  • ${\bigcup }_{i=1}^n{B}_i=\Omega$
  • $B_i{B}_j=\varnothing ;i\ne j$
• 则称$\{B_i;i\in I\}$为$\Omega$的一个完备事件组,也称为划分

基本性质

• 完备事件组$\{B_i;i\in I\}$,试验的任意一个样本点(任意一次试验结果)都属于且仅属于某一个$B_i$

全概率公式

• 设试验E的样本空间为$S$,$A$为$E$的事件

• $\{B_i\mid i\in I\}$是一个$S$的划分,$P(B_i)>0,i\in I$,则$P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$

  • 那么$P(A)=\sum _{i\in I}P(A|B_i)P(B_i)$

• 证明:

  • 显然$A{B}_i\subset B_i$,又$B_i{B}_j=\varnothing$,所以$(A{B}_i)(A{B}_j)=A(B_i{B}_j)=A\varnothing =\varnothing$,$(i\ne j)$

  • $P(A|B_i)P(B_i)=P(A{B}_i)$

  • 证法1:

    • $\sum _{i\in I}P(A|B_i)P(B_i)=\sum _{i\in I}P(A{B}_i)$
      • $=P(A{B}_1\cup A{B}_2\cup \cdots \cup A{B}_n)$
      • $=P\left(A\cap \left(\bigcup _{i\in I}{B}_i\right)\right)$
      • $=P(A\Omega )$
      • $=P(A)$

  • 证法2:

    • $A=AS=A(B_1\cup \cdots \cup B_n)$=$A{B}_1\cup \cdots \cup A{B}_n$
    • $P(A)$=$P(A{B}_1\cup \cdots \cup A{B}_n)$=${\sum }_{i=1}^{n}P(A{B}_i)$=$\sum _{i\in I}P(A|B_i)P(B_i)$

例

• 某个含有20个球的箱子

  • 含有0,1,2只次品的概率分别为0.8,0.1,0.1

    • 记:$A_i$={箱子包含的残次品数量为$i$个}
      • $P(A_0)=0.8$
      • $P(A_1)=P(A_2)=0.1$

  • 记$B$={抽中的4件产品都是正品}

• 那么发生事件$B$的概率?

  • 显然$A_0,A_1,A_2$构成试验E{观察箱子中的全部球的正品数,样本空间为{0,1,2}}的样本空间的一个划分

  • 而事件$B$进行的试验$F${观察取出的4个抽样品的正品数,样本空间为{0,1,2}}

  • 容易根据古典概型公式计算(因为此时的样本空间已知)以下条件概率(这里不是用条件概率公式展开计算,这会绕回来)

    • $P(B|A_0)=\frac{\left(\genfrac{}{}{0ex}{}{20}{4}\right)}{\left(\genfrac{}{}{0ex}{}{20}{4}\right)}=1$

    • $P(B|A_1)=\frac{\left(\genfrac{}{}{0ex}{}{19}{4}\right)}{\left(\genfrac{}{}{0ex}{}{20}{4}\right)}=\frac{(19\ast 18\ast 17\ast 16)\ast (4\ast 3\ast 2\ast 1)}{(20\ast 19\ast 18\ast 17)\ast (4\ast 3\ast 2\ast 1)}=\frac{4}{5}$

      • 其中${\Omega }_{A_1}=\Omega$

    • $P(B|A_2)=\frac{\left(\genfrac{}{}{0ex}{}{18}{4}\right)}{\left(\genfrac{}{}{0ex}{}{20}{4}\right)}=\frac{12}{19}$

  • 根据全概率公式$P(B)=\sum _{i=1}^{3}P(B|A_i)P(A_i)=0.943$

  • Note:这里试验$F$的样本空间恰好和E的样本空间重复,但如果箱子中的次品高达4个以上,那么$F$的样本空间$0,1,2,3,4$是包含于$E$的样本空间的

贝叶斯公式

• bayes公式基于上述的全概率公式,是一个更加综合的公式,但是原理是简单的
• 设试验E的样本空间为$S$,$A$为$E$的事件
• $\{B_i\mid i\in I\}$是一个$S$的划分,$P(A)>0,P(B_i)>0,i\in I$,则
  • $P(B_i|A)$=$\frac{P(A{B}_i)}{P(A)}$=$\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$;$i=1,\cdots ,n$;此公式为bayes公式
• 证明:由条件概率,乘法定理,全概率公式,贝叶斯公式显然成立
  • $P(B_i|A)$=$\frac{P(A{B}_i)}{P(A)}$
  • $P(A{B}_i)$=$P(A|B_i)P(B_i)$
    • 注意在bayes公式中,我们要求的是$P(B_i|A)$,因而$P(A{B}_i)$=$P(B_i|A)P(A)$就不合适,否则公式无法有效计算
    • 而因该用$P(A{B}_i)$=$P(A|B_i)P(B_i)$来算
  • $P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$

例

• 次品来源问题:设一批零件来自三个供应商

  • 供应商	次品率	进货份额
    1	0.02	0.15
    2	0.01	0.80
    3	0.03	0.05

• 试验内容:从零件中抽取一件

  • A={取到的产品是次品}
  • $B_i$={次品零件来自第$i$个厂商}
    • $P(B_1)$=$0.15$;$P(A|B_1)$=0.02
    • $P(B_2)$=0.80;$P(A|B_2)$=0.01
    • $P(B_3)$=0.05;$P(A|B_3)$=0.03

• 求该样品是次品的概率:

  • 由全概率公式:$P(A)=\sum _{i=1}^{3}P(A|B_i)P(B_i)$=$0.02\ast 0.15+0.01\ast 0.80+0.03\ast 0.05=0.0125$

• 从中取出一件,发现是次品,那么来自产商$i$的概率是多少$(i=1,2,3)$

  • 由贝叶斯公式:
    • $P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{P(A)}$
  • 分别可以计算出:
    • $P(B_1|A)=\frac{0.02\ast 0.15}{0.0125}=0.24$
    • $P(B_2|A)$=$0.64$
    • $P(b_3|A)$=$0.12$

对立事件下的常用形式

• 全概率公式和beyes公式在$n=2$的时候(事件$B,\overline{B}$构成样本空间的一个划分)最常用
• 此时分别有:
  • $P(A)=P(AB)+P(A\overline{B})$=$P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$
  • $P(B|A)=\frac{P(AB)}{P(A)}$=$\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}$

先验概率和后验概率

例

• 机器与产品合格率问题

• 设机器正常时,生产的产品合格率为0.9,否则合格率为0.3

• 如果机器开机后,正常的概率是0.75(先验概率)

• 某天该机器第一件产品是合格的,机器正常的概率是多少?

• 分析:

  • A={第一件产品合格}
  • B={机器正常}
  • 所求概率表达式为:$P(B|A)=?$

• 根据假设可知:

  • $P(A|B)=0.9;P(A|\overline{B})=0.3$
  • $P(B)=0.75,P(\overline{B})=0.25$
    • $B,\overline{B}$构成了样本空间的一个划分(即机器要么正常,要么不正常)
  • 由全概率公式$P(A)=P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$=$0.9\ast 0.75+0.3\ast 0.25=0.75$
  • 那么根据Bayes公式,$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$=$\frac{0.9\ast 0.75}{0.75}=0.9$,
  • 即第一件产品合格的条件下,机器正常的后验概率概率为0.9

• 后验概率是对先验概率的一种修正

• 后验概率和先验概率的解释分为两派

  • 客观派:所有第一件产品是合格的日子里,100天内平均由90天机器是正常的
  • 主观派:反映的是试验前后人们主观上对机器状态的不同信念

概率作为衡量人们对客观事件的信念度量

• 以伊索寓言狼来了为例
• $A$={孩子说谎};$B$={孩子可信},假设一个可信的孩子**相对不容易说谎,**不妨设这个概率为0.1,即$P(A|B)$=0.1;反之,一个不可信的孩子说谎话的概率为0.5,即$P(A|\overline{B})=0.5$
• 设村民遇到一个可信的孩子的概率为0.8,即$P(B)$=0.8
• 那么孩子说慌话的概率为$P(A)$=$P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$=$0.1\times 0.8+0.5\times 0.2$=0.18
• 现在假设孩子说了谎话一次后,由bayes公式计算这个孩子是可信的概率
  • $P(B|A)$=$\frac{P(BA)}{P(A)}$=$\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}$=$\frac{0.1\times 0.8}{0.18}$=$\frac{4}{9}\approx 0.444$
  • 即孩子可信的后验概率降低到了0.444
• 如果孩子再次撒谎,令$P(B)=0.444$按照上述方式再次计算后验概率:
  • $P(B|A)$=$\frac{0.444\times 0.1}{0.444\times 0.1+0.566\times 0.5}$=$0.138$
• 可见,孩子撒了两次慌后,其可信的后验概率已经降低到了0.138,给人的感觉几乎是一个不可信的人

补充

条件概率的链式法则

• Chain rule (probability) - Wikipedia

• In probability theory, the chain rule (also called the general product rule[1][2]) permits the calculation of any member of the joint distribution of a set of random variables using only conditional probabilities.

• The rule is useful in the study of Bayesian networks, which describe a probability distribution in terms of conditional probabilities.

• 更一般的,如果反复套用上述公式,我们可以得到:

  • 下面得到公式看起来复杂,其实用起来是很自然

• $$\begin{gathered} P(\prod _{i=1}^n{A}_i)=P((\prod _{i=1}^{n-1}{A}_i)A_n)=P(A_n|\prod _{i=1}^{n-1}{A}_i)P(\prod _{i=1}^{n-1}{A}_i) \\ 设通项P_k=P(\prod _{i=1}^k{A}_i)=P((\prod _{i=1}^{k-1}{A}_i)A_k)=P(A_k|\prod _{i=1}^{k-1}{A}_i)P(\prod _{i=1}^{k-1}{A}_i) \\ T(k)=\prod _{i=1}^k{A}_i \\ k=n,n-1,n-2,\cdots ,1 \\ {P}_k=P(T(k))=P(A_k|T(k-1))P(T(k-1)) \\ ⋮ \end{gathered}$$

• $$\begin{gathered} 特别的:P_2=P(A_1{A}_2)=P(A_2|A_1)P(A_1) \\ {P}_3=P(A_1{A}_2{A}_3)=P(A_3|A_1{A}_2)P(A_1{A}_2) \\ =P(A_3|A_1{A}_2)P(A_2|A_1)P(A_1) \\ 类似的: \\ {P}_4=P(A_1{A}_2{A}_3{A}_4)=P(A_4|A_1{A}_2{A}_3)P(A_1{A}_2{A}_3) \\ =P(A_4|A_1{A}_2{A}_3)P(A_3|A_1{A}_2)P(A_2|A_1)P(A_1) \\ {P}_n=\prod _{i=1}^{n}P(A_{n-i+1}|\prod _{j=0}^{n-i}{A}_j) \\ 严格的说,\prod _{j=1}^n{A}_j应该作\bigcap _{j=1}^n{A}_j,表示积事件 \\ 定义P(A_0)=1 \end{gathered}$$

• 其他写法
  $$\begin{gathered} P_n=\prod _{i=1}^{n}P(A_{n-i+1}|\bigcap _{j=0}^{n-i}{A}_j) \\ 根据乘法交换律(积事件调整书写顺序含义不变) \\ {P}_n=\prod _{i=1}^{n}P(A_{n-i+1}|\bigcap _{j=0}^{n-i}{A}_j)=\prod _{i=1}^{n}P(A_i|\bigcap _{j=1}^{i-1}{A}_j) \\ 约定\bigcap _{j=1}^0{A}_j时省略该项(作为必然事件) \end{gathered}$$

• 通常,公式右边的条件概率都是比较容易计算的

  • 通常利用条件概率的样本收缩来得出各个条件概率因子
  • 否则可能要考虑其他的计算积事件的方法

More than two events

• For more than two events $A_1,\dots ,A_n$ the chain rule extends to the formula $\mathrm{P}\left(A_n\cap \dots \cap A_1\right)=\mathrm{P}\left(A_n|A_{n-1}\cap \dots \cap A_1\right)\cdot \mathrm{P}\left(A_{n-1}\cap \dots \cap A_1\right)$ which by induction may be turned into P ( A n ∩ … ∩ A 1 ) = ∏ k = 1 n P ( A k   ∣   ⋂ j = 1 k − 1 A j ) . {\displaystyle \mathrm {P} \left(A_{n}\cap \ldots \cap A_{1}\right)=\prod _{k=1}^{n}\mathrm {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right).} P(An​∩…∩A1​)=k=1∏n​P(Ak​ ​j=1⋂k−1​Aj​).

Example

• With four events ($n=4$), the chain rule is $\begin{array}{rl}\mathrm{P}(A_1\cap A_2\cap A_3\cap A_4)& =\mathrm{P}(A_4\mid A_3\cap A_2\cap A_1)\cdot \mathrm{P}(A_3\cap A_2\cap A_1)\\ & =\mathrm{P}(A_4\mid A_3\cap A_2\cap A_1)\cdot \mathrm{P}(A_3\mid A_2\cap A_1)\cdot \mathrm{P}(A_2\cap A_1)\\ & =\mathrm{P}(A_4\mid A_3\cap A_2\cap A_1)\cdot \mathrm{P}(A_3\mid A_2\cap A_1)\cdot \mathrm{P}(A_2\mid A_1)\cdot \mathrm{P}(A_1)\end{array}$

例

• 多次摸多颜色球问题

  • 设有5红,3黑,2白

  • 问,第三次才摸到白球的概率

    • 即,前两次的摸球结果都不是白色的

    • 为了方便讨论问题,记:$A_i=第i次摸出白球;i=1,2,3$

      • 如果不是白球,则记为$\overline{A_i}$

    • $$\begin{gathered} P=P(\overline{A_1}\overline{A_2}{A}_3)=P(A_3|\overline{A_1}\overline{A_2})P(\overline{A_2}|\overline{A_1})P(\overline{A_1}) \\ =\frac{2}{10-2}\frac{8-1}{10-1}\frac{8}{10}=\frac{2}{8}\frac{7}{9}\frac{8}{10}=\frac{7}{45} \end{gathered}$$

      • 其中$P(B_n|B_{n-1}\cdots B_1)$表示已经有$n-1$个求被摸出,现在再摸出一个球,发生事件$B_n$的概率

      • 例如$P(\overline{A_2}|\overline{A_1})$表示已经摸出一个球(而且不是白球)的情况下,再摸出一个求,而且仍然不是白球的概率

      • 实时上,稍微熟练点的高中生,就可以直接写出$p=\frac{2}{8}\frac{7}{9}\frac{8}{10}$

More than two random variables(多维随机变量下的链式乘法法则)

• Consider an indexed collection of random variables $X_1,\dots ,X_n$ taking possible values $x_1,\dots ,x_n$ respectively.

• Then, to find the value of this member of the joint distribution, we can apply the definition of conditional probability to obtain:

• $\mathrm{P}\left(X_n=x_n,\cdots ,X_1=x_1\right)=\mathrm{P}\left(X_n=x_n|X_{n-1}=x_{n-1},\dots ,X_1=x_1\right)\cdot \mathrm{P}\left(X_{n-1}=x_{n-1},\dots ,X_1=x_1\right)$

• Repeating this process with each final term and letting $A_k$ denote the event $X_k=x_k$ creates the product:

• P ( ⋂ k = 1 n A k ) = ∏ k = 1 n P ( A k   ∣   ⋂ j = 1 k − 1 A j ) = ∏ k = 1 n P ( X k = x k   ∣   X 1 = x 1 , … X k − 1 = x k − 1 ) . {\displaystyle \mathrm {P} \left(\bigcap _{k=1}^{n}A_{k}\right)=\prod _{k=1}^{n}\mathrm {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right)=\prod _{k=1}^{n}\mathrm {P} \left(X_{k}=x_{k}\,|\,X_{1}=x_{1},\dots X_{k-1}=x_{k-1}\right).} P(k=1⋂n​Ak​)=k=1∏n​P(Ak​ ​j=1⋂k−1​Aj​)=k=1∏n​P(Xk​=xk​∣X1​=x1​,…Xk−1​=xk−1​).

Example

• With four variables ($n=4$), denote $P(x_n|x_{n-1}\dots ,x_1):=P(X_n=x_n|X_{n-1}=x_{n-1}\dots ,X_1=x_1)$ for brevity.
• Then, the chain rule produces this product of conditional probabilities: $\begin{array}{rl}\mathrm{P}(x_4,x_3,x_2,x_1)& =\mathrm{P}(x_4\mid x_3,x_2,x_1)\cdot \mathrm{P}(x_3,x_2,x_1)\\ & =\mathrm{P}(x_4\mid x_3,x_2,x_1)\cdot \mathrm{P}(x_3\mid x_2,x_1)\cdot \mathrm{P}(x_2,x_1)\\ & =\mathrm{P}(x_4\mid x_3,x_2,x_1)\cdot \mathrm{P}(x_3\mid x_2,x_1)\cdot \mathrm{P}(x_2\mid x_1)\cdot \mathrm{P}(x_1)\end{array}$