贝叶斯学习

条件概率

• 条件概率是带有某些（前提条件）背景约束的概率问题。
• 通常条件概率的记号是 p(A|B) 表示在给定的条件B下，A事件发生的概率。

联合概率

• 联合概率是指两个事件同时发生的概率。p(A 和 B) 是A和B事件的发生都为真的概率。
• 公式： p(A and B) = p(A)p(B|A)
• 如果事件A的结果不影响事件B发生的概率，则 p(B|A) = P(B) ，公式可以表示为 p(A and B) = p(A)p(B)

投2枚硬币， A 表示第一个硬币朝上，B表示第二枚硬币朝上，那么 p(A)=p(B)=0.5, 
联合概率 p(A and B) = p(A)p(B|A) ，因为事件A结果不影响事件B的概率， 那么 p(A and B) = p(A)p(B) = 0.25 

贝叶斯定律

• 公式推导

联合概率是乘积可以交换的，所以： p(A and B) = p(B and A)
联合概率 p(A and B) = p(A)p(B|A)
没有明确定义A和B的含义，因此可以对A、B进行交换操作
p(B and A) = p(B)p(A|B)
结合上面的三个公式推出公式： p(B)p(A|B) = p(A)p(B|A)

根据公式推导过程，可以得出两种计算联合概率的方式。
根据上述公式：p(A|B) = p(A)p(B|A)/p(B), 这就是贝叶斯定律

用贝叶斯解决曲奇饼干的问题

假设有2个碗，碗1中有30个香草曲奇饼干和10个巧克力曲奇饼干，碗2中有20个香草和20个巧克力曲奇
现在在你不看的情况下，随机挑一个曲奇饼干，得到一块香草曲奇。我们的问题是，从碗1获得香草曲奇的概率是多少

我们假设 B1 表示曲奇饼干属于碗1 的概率，V表示曲奇饼干是香草的概率
根据贝叶斯定律：
p(B1|V) = p(B1)p(V|B1)/p(V)
p(B1) 表示 忽略曲奇饼干这个条件，获取的碗1 的概率，因为碗是随机的，所以概率为 0.5 (1/2)
p(V|B1) 表示碗1这个条件为真时， 香草曲奇的概率，即概率为  0.75 (3/5)
p(V) 表示任意一个碗得到香草的概率，考虑到碗的概率为机会均等，没个碗的曲奇数量为40，得到曲奇饼干的机会时均等的，所以概率为 5/8
那么 p(B1|V) = 0.5 * 0.75 / 0.625