贝叶斯

1. 贝叶斯简介

贝叶斯Thomas Bayes,英国数学家
贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章。
贝叶斯要解决的问题：
- 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率有多大？
  - 黑球数量/总球数量
- 逆向概率：如果我们事先不知道袋子里黑白球的比例，而是闭着眼睛摸出一个（好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。
为什么使用贝叶斯？
- 现实世界本身就是不确定的，人类的观察能力是有局限性的
- 我们日常所观察到的只是事物表面上的结果，因此我们需要提供一个猜测。

有个学校，男生占60%，女生占40%。男生总是穿长裤，女生一半穿长裤一半穿裤子。

问题是我们看到用户输入了一个不在字典中的单词，我们需要去擦测用户真正想输入的单词是什么？

P(我们擦测它输入的单词|他实际输入的单词)
用户实际输入的单词记为D
- 猜测1：P(h1|D)，猜测2：P(h2|D)，猜测3：P(h3|D)...统一为：P(h|D)
- P(h|D)=P(h)*P(D|h)/P(D)
  - P(h):代表猜测的词在字典中出现的概率，比如语料库中有10000个词（有重复），the出现5000次，那么P(the)=5000/10000。P(h)其实是一个先验概率，拿到数据之后，可以事先统计好。
  - P(D|h)：想输一个词，输错的概率。比如，D：tha,h:the，P(D|h)表示想输入the,输的是tha的概率有多大。
- 对于具体的不同的猜测h1,h2,h3...，P(D)都是一样的，所以在比较P(h1|D)和P(h2|D)的时候我们可以忽略这个常数
- P(h|D) 正比于 P(h)*P(D|h)
  
  对于给定的观测数据，一个猜测的是好是坏取决于“这个猜测先验概率的大小”和“这个猜测生成我们观测到的数据的可能性大小（the写成tha的概率大小）”。
贝叶斯方法计算：P(h)*P(D|h),P(h)是特定猜测的先验概率
比如用户输入tlp,那到底是top还是tip呢？这个时候，当最大似然估计不能做出判断时，先验概率就可以插手进来给出指示——top出现的程度要高许多，所以更可能输入的是top。

问题：给定一封邮件，判定它是否属于垃圾邮件，D表示这封邮件，D由N个单词组成。用h+来表示垃圾邮件，h-表示正常邮件。

P(h+|D)=P(h+) * P(D|h+)/P(D)
P(h-|D)=P(h-) * P(D|h-)/P(D)
P(h+)和P(h-)这两个先验概率都是很容易求出来的，要计算一个邮件库里面垃圾邮件和正常邮件的比例就行了。
D里面含有N个单词d1,d2,d3...，P(D|h+)=P(d1,d2,...,dn|h+)
- P(d1,d2,...,dn|h+)就是说在垃圾邮件当中出现跟我们这封邮件一模一样的一封邮件的概率是多大！(可想而知，一模一样的概率会非常小，但是我们判定为垃圾邮件不一定要一模一样，大致相同就认为是垃圾邮件了。)
- P(d1,d2,...,dn|h+)扩展为：P(d1|h+) * P(d2|d1,h+) * P(d3|d2,d1,h+) * ...
把原始贝叶斯转换为朴素贝叶斯。假设di与di-1是完全条件无关的（朴素贝叶斯假设特征之间是独立的，互不影响。）
- 简化为：P(d1|h+) * P(d2|h+) * P(d3|h+) * ...
- 对于P(d1|h+) * P(d2|h+) * P(d3|h+) * ... 只要统计di这个单词在垃圾邮件中出现的频率即可。