贝叶斯公式的理解

贝叶斯公式的形式化表达为:

\mathbf{P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n}P(B_j)P(A|B_j))}}

公式中,事件Bi的概率为P(Bi),事件Bi已发生条件下事件A的概率为P(A│Bi),事件A发生条件下事件Bi的概率为P(Bi│A),P(Bi)是先验概率,P(Bi|A)是后验概率。

下面通过一个例子,以通俗易懂的形式说明,贝叶斯公式到底说了什么,反映的是现实生活中怎样的道理。

想象这样一个样本,它由从事农民和教师两种职业的人构成,样本总数210人,其中,农民200人,老师10人。根据每个人的特点, 两个职业的人群中,分为好脾气的人和脾气差的人,其中好脾气的农民有20人,好脾气的老师有4人,之所以这样设定是由于,按照常理来讲,职业是老师的人群中,遇到好脾气的概率应该会比在职业是农民的人群中,遇到好脾气的概率要大一些。

样本图形化表示出来是这个样子的:

贝叶斯公式的理解_第1张图片

此时,我们的样本数据总结如下:

  1. 农民200人
  2. 老师10人
  3. 好脾气的农民20人
  4. 好脾气的老师4人
  5. 总共210人
  6. 样本比例: 老师/农民=1/20
  7. 概率分布
    1. P(teacher)=10/210 = 1/21
    2. P(farmer)=200/210=20/21
    3. P(goodtemper|teacher)=4/10
    4. P(goodtemper|farmer)=20/200=1/10

先验概率:

\mathbf{P(farmer)=\frac{200}{210}=\frac{20}{21}}

\mathbf{P(teacher)=\frac{10}{210}=\frac{1}{21}}

\\ \mathbf{P(goodtemper|farmer) = \frac{P(goodtemper)P(farmer|goodtemper)}{P(farmer)} =\frac{\frac{24}{210}*\frac{20}{24}}{\frac{200}{210}}=\frac{20}{200}=\frac{1}{10}}

\\ \mathbf{P(goodtemper|teacher) = \frac{P(goodtemper)P(teacher|goodtemper)}{P(teacher)} =\frac{\frac{24}{210}*\frac{4}{24}}{\frac{10}{210}}=\frac{4}{10}=\frac{4}{10}}

后验概率:

\\ P(farmer|goodtemper) = \frac{P(farmer)P(goodtemper|farmer)}{P(goodtemper)} \\ = \frac{P(farmer)P(goodtemper|farmer)}{P(farmer)P(goodtemper|farmer) + P(teacher)P(goodtemper|teacher)} \\=\frac{\frac{200}{210}\frac{20}{200}}{\frac{200}{210}\frac{20}{200}+\frac{10}{210}\frac{4}{10}}=\frac{20}{24}

\\ P(teacher|goodtemper) = \frac{P(teacher)P(goodtemper|teacher)}{P(goodtemper)} \\ = \frac{P(teacher)P(goodtemper|teacher)}{P(farmer)P(goodtemper|farmer) + P(teacher)P(goodtemper|teacher)} \\=\frac{\frac{10}{210}\frac{4}{10}}{\frac{200}{210}\frac{20}{200}+\frac{10}{210}\frac{4}{10}}=\frac{4}{24}

依据的公式:

\\ P(farmer|goodtemper)*P(goodtemper)=P(farmer\&goodtemper)\\ P(goodtemper|farmer)*P(farmer)=P(goodtemper\&farmer)\\ P(farmer|goodtemper)*P(goodtemper)=P(goodtemper|farmer)*P(farmer)\\ P(farmer|goodtemper)=\frac{P(farmer)P(goodtemper|farmer)}{P(goodtemper)}=\frac{P(goodtemper)P(farmer|goodtemper)}{P(goodtemper)}

当知道了某个人是好脾气的人之后我们不得不对之前的评估进行修正,有可能向大的方向修正,也有可能向小的地方修正。

比如,由于老师人群中好脾气的人占比比农民人群中好脾气的人群占比打,所以当知道某人是好脾气的人之后,我们理所当然的认为,修正后的概率是老师的概率会增加,修正后的概率是农民的概率会降低。

看到好脾气的证据后,大大提高了是老师的概率,以上面的例子为例,在毫不知情的情况下,老师占样本的比例是10/210,而在获知这个人脾气不错之后,得到是农民的条件概率是4/24,所以,总共比例增加为4/24 * 21 = 84/24=7/2=3.5倍, 而农民的先验概率是20/21,后验概率是20/24,概率降低了。

贝叶斯公式实际上阐述了这么一件事情:

新信息出现后的事件概率=事件概率*新信息带来的调整

套用到上面的例子中,3.5就是得知对方是好脾气的人之后,对对方是老师的概率带来的调整倍率。

\mathbf{\\P(teacher|goodtemper) = \frac{P(teacher)P(goodtemper|teacher)}{P(goodtemper)}=\frac{10}{210} * \frac{\frac{4}{10}}{\frac{24}{210}}=3.5P(teacher)}

贝叶斯公式的理解_第2张图片

以上就是贝叶斯公式的简单理解!


结束!

你可能感兴趣的:(Linux,算法,数学,概率论,机器学习)