深度学习基础 - 朴素贝叶斯
深度学习基础 - 朴素贝叶斯
flyfish
全概率公式
设试验E的样本空间为S，A为E的事件，
$
B_1,B_2,…,B_n
$
为S的一个划分，且
P ( B i ) > 0 ( i = 1 , 2... , n ) , P(B_i)>0(i=1,2...,n), P(Bi)>0(i=1,2...,n),
则
P ( A ) = P ( A ∣ B 1 ) P ( B 1 ) + P ( A ∣ B 2 ) P ( B 2 ) + ⋯ + P ( A ∣ B n ) P ( B n ) P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\dots+P(A|B_n)P(B_n) P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋯+P(A∣Bn)P(Bn)
贝叶斯公式
设试验E的样本空间为S，A为E的事件，
$
B_1,B_2,…,B_n
$
为S的一个划分，且
$
P(A)>0,P(B_i)>0(i=1,2…,n),
$
则
P ( B i ∣ A ) = P ( A ∣ B i ) P ( B i ) ∑ j = 1 k P ( A ∣ B j ) P ( B j ) P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^k { P(A|B_j)P(B_j)} } P(Bi∣A)=∑j=1kP(A∣Bj)P(Bj)P(A∣Bi)P(Bi)
简化
P ( B j ∣ A ) P ( A ) = P ( A ∣ B j ) P ( B j ) P(B_j|A)P(A)=P(A|B_j)P(B_j) P(Bj∣A)P(A)=P(A∣Bj)P(Bj)
总结
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A\mid B)={\frac {P(A\cap B)}{P(B)}}={\frac {P(B|A)P(A)}{P(B)}} P(A∣B)=P(B)P(A∩B)=P(B)P(B∣A)P(A)
KaTeX parse error: Undefined control sequence: \mbox at position 78: …A)+P(B)\qquad {\̲m̲b̲o̲x̲{如果A和B是互斥的(mutu…
KaTeX parse error: Undefined control sequence: \mbox at position 78: …(A)P(B)\qquad {\̲m̲b̲o̲x̲{如果A和B是独立的( ind…
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A\mid B)={\frac {P(A\cap B)}{P(B)}}={\frac {P(B|A)P(A)}{P(B)}} P(A∣B)=P(B)P(A∩B)=P(B)P(B∣A)P(A)
案例
某电子设备制造厂所用的元件是由三家元件制造厂提供的根据以往的记录有以下的数据:
元件制造厂 1 2 3
次品率 0.02 0.01 0.03
提供元件的份额 0.15 0.80 0.05
| 元件制造厂 | 次品率 | 提供元件的份额 |
|---|---|---|
| 1 | 0.02 | 0.15 |
| 2 | 0.01 | 0.80 |
| 3 | 0.03 | 0.05 |
设这三家工厂的产品在仓库中是均匀混合的且无区别的标志
(1)在仓库中随机地取一只元件,求它是次品的概率;
(2)在仓库中随机地取一元件,若已知取到的是只次品,为分析此次品出自何厂
求三家工厂生产的概率别是多少
解设A表示"取到的是一只次品"
Bi(i=1,2,3)表示"所取到的产品是由第i家工厂提供的
B1,B2,B3是样本空间的一个划分
已知
P ( B 1 ) = 0.15 , P(B_1)=0.15, P(B1)=0.15,
P ( B 2 ) = 0.80 , P(B_2)=0.80, P(B2)=0.80,
$P(B_3)=0.05, $
$P(A|B_1)=0.02, $
P ( A ∣ B 2 ) = 0.01 , P(A|B_2)=0.01, P(A∣B2)=0.01,
P ( A ∣ B 3 ) = 0.03. P(A|B_3)=0.03. P(A∣B3)=0.03.
全概率公式就是求随机地取一只元件,它是次品的概率;
P ( A ) = P ( A ∣ B 1 ) P ( B 1 ) + P ( A ∣ B 2 ) P ( B 2 ) + P ( A ∣ B 3 ) P ( B 3 ) P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+P(A|B3)P(B3) P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+P(A∣B3)P(B3)
=0.020.15+0.010.8+0.03*0.05
=0.0125.
贝叶斯公式是求A发生的情况下求B1，B2，B3的概率
P ( B 1 ∣ A ) = 0.24 , P(B_1|A)=0.24, P(B1∣A)=0.24,
P ( B 2 ∣ A ) = 0.64 , P(B_2|A)=0.64, P(B2∣A)=0.64,
P ( B 3 ∣ A ) = 0.12 P(B_3|A)=0.12 P(B3∣A)=0.12
贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1、已知类条件概率密度参数表达式和先验概率
2、利用贝叶斯公式转换成后验概率
3、根据后验概率大小进行决策分类
简单地说，朴素贝叶斯算法是利用统计中的“条件概率”来进行分类的一种算法。前面的章节介绍的古典概型的概率计算方法，就是扔硬币的那种，穷举出所有的情况，然后看看每种情况的占比，这都是基于排列组合的思路去做概率分析。
朴素贝叶斯分类的方式不太一样。贝叶斯概率研究的是条件概率，也就是研究的场景就是在带有某些前提条件下，或者在某些背景条件的约束下发生的概率问题。
对贝叶斯公式的解释
在一个样本空间里有很多事件发生，Bi就是指不同的事件划分，并且用Bi可以把整个空间划分完毕，在每个Bi事件发生的同时都记录事件A的发生，并记录Bi事件发生下A发生的概率。等式右侧的分母部分就是Bi发生的概率和Bi发生时A发生的概率的加和，所以分母这一项其实就是在整个样本空间里A发生的概率。P（Bi|A）这一项是指A发
发生的情况下，Bi发生的概率。不难看出，左侧和右侧分母项相乘得到的是在全样本空间里，在A发生的情况下又发生Bi的情况的概率。右侧分子部分的含义是Bi发生的概率乘以Bi发生的情况下又发生A的概率。
所以最后等式两边就化简为
P ( B i ∣ A ) P ( A ) = P ( A ∣ B i ) P ( B i ) P(B_i|A)P(A)=P(A|B_i)P(B_i) P(Bi∣A)P(A)=P(A∣Bi)P(Bi)
也就是说，在全样本空间下，发生A的概率乘以在发生A的情况下发生Bi的概率，等于发生Bi的概率乘以在发生Bi的情况下发生A的概率
参考文献
《白话大数据与机器学习》
《概率论与数理统计（第四版）》浙大 盛骤、谢式千、潘承毅