贝叶斯

理论概述

贝叶斯 Thomas Bayes，英国数学家.1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。
　　贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。
　　贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
　　贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
        1、已知类条件概率密度参数表达式和先验概率。
        2、利用贝叶斯公式转换成后验概率。
        3、根据后验概率大小进行决策分类。
     他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。 贝叶斯公式是他在1763年提出来的：
     假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。


贝叶斯公式

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有：
                         n
P(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)
                     i=1


color=red][/color]案例：
a:先验概率P(Di)
D1,D2....Dn是样本空间的S的一个划分P(Di)
假定D1,D2...是某个过程的若干可能的前提,则p(x/Dj)是各个前提条件出现可能性大小的估计
b:后验概率P(Dj/x)
在先验的情况下得到一个结果A,那么贝叶斯公式提供了我们根据A的出现对前提条件做出的新评论的方法。
是对以A为前提下Bi的出现概率的重新的认识。
c:前提各种属性之间互相没有什么影响，这样挖掘的速度很快，但是处理的结果不是很准确。
设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有： j是针对一个样本
n
P(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)
i=1
---------------------------------------------------------------------

在进行的投票活动中，投票的人30%是女性，70%是男性。 有80%男性会投黄家强20%男性投黄贯中， 有10%女性投黄家强有90%女性投黄贯中。如果新来的票的，我来判断如果投了家强是男性还是女性？
分析：
0.3*0.1+0.7*0.8=59%  男性(0.7*0.8)/0.59=95%  支持家强
0.3*0.9+0.7*0.2=41% 支持贯中

则可以推测出如果他投了支持家强 则是男性的可能性95%


如下来自CSDN博客，转载请标明出处：http://blog.csdn.net/brightgems/archive/2008/01/28/2069759.aspx


贝叶斯算法原理分析
Bayes法是一种在已知先验概率与条件概率的情况下的模式分类方法，待分样本的分类结果取决于各类域中样本的全体。

Bayes方法的薄弱环节在于实际情况下，类别总体的概率分布和各类样本的概率分布函数(或密度函数)常常是不知道的。为了获得它们，就要求样本 足够大。另外，Bayes法要求表达文本的主题词相互独立，这样的条件在实际文本中一般很难满足，因此该方法往往在效果上难以达到理论上的最大值。



1.贝叶斯法则
机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。
最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。


2.先验概率和后验概率
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有 这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率。机器学 习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。


3.贝叶斯公式
贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法
p(h|D)=P(D|H)*P(H)/P(D)
P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。


4.极大后验假设
学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）
确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下:
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)
最后一步，去掉了P(D)，因为它是不依赖于h的常量。


5.极大似然假设
在某些情况下，可假定H中每个假设有相同的先验概率，这样式子可以进一步简化，只需考虑P(D|h)来寻找极大可能假设。
h_ml = argmax p(D|h) h属于集合H P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设。


6.举例
一个医疗诊断问题
有两个可选的假设：病人有癌症、病人无癌症
可用数据来自化验结果：正+和负-
有先验知识：在所有人口中，患病率是0.008
对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97%
总结如下
P(cancer)=0.008, P(cancer)=0.992
P(+|cancer)=0.98, P(-|cancer)=0.02
P(+|cancer)=0.03, P(-|cancer)=0.97
问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(cancer|+)
因此极大后验假设计算如下:
P(+|cancer)P(cancer)=0.008*0.98=0.0078
P(+|cancer)P(cancer)=0.992*0.03=0.0298
hMAP=cancer
确切的后验概率可将上面的结果归一化以使它们的和为1
P(canner|+)=0.0078/(0.0078+0.0298)=0.21
cancer|-)=0.79ØP(
贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完全接受或拒绝假设，只是在观察到较多的数据后增大或减小了假设的可能性。



注意：当训练数据的值是缺失时，即先验概率为0%，预测值不稳定。一般会给每个数据加1，使概率不会为0%。