贝叶斯分类器（1）——概率论知识

带你3分钟理解贝叶斯分类器的概率论知识

贝叶斯分类

       贝叶斯分类是统计学分类方法，可预测类别所属的概率，如：一个数据对象属于某个类别的概率。

       贝叶斯分类的基础是贝叶斯定理。

       贝叶斯定理（Bayes theorem）：是概率论中的一个结果，跟随机变量的条件概率以及边缘（条件）概率分布有关。

       在实际中，人们常会根据不确定性信息作出推理和决策，此时往往需要对各种结论出现的概率进行估计，这类推理   称为概率推理。贝叶斯推理的问题是条件概率推理问题。

贝叶斯分类概率论知识

       概率论是研究随机性或不确定性等现象的数学。更精确的说，是用来模拟实验在同一环境下会产生不同结果的情状。

       随机事件；

      事件间的关系；

      条件概率。

随机事件

     随机实验：随机实验是一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什 么结果。

     样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作Ω，Ω中的点（即一个可能出现的实验 结果）称为样本点，通常记作ω。

     随机事件：随机事件是一个随机实验的一些可能结果的集合，是样本空间的一个子集。常用大写字母A,B,C,…表示。

事件间的关系

事件关系图

条件概率

     条件概率：设A、B是两个随机事件，且P(B)>0，则在事件B已经发生的条件夏，事件A发生的条件概率：

    联合概率：若对任意两件事A、B都有P(A)>0，P(B)>0，则：

    边际概率：若A1、A2构成互斥和完整的两个事件，A1和A2中的一个出现的事件B发生的必要条件，则事件B的边际概率公式为（全概率公式）：

贝叶斯定理

     贝叶斯定理是关于随机事件A和B的条件概率和边缘概 率的一则定理。

     通常，事件A在事件B发生的条件下的概率，与事件B在事件A发生的条件下的概率是不一样的，然而，这两者是 有确定的关系的，贝叶斯定理就是这种关系的陈述。

由前面的3个概率论公式可以得到贝叶斯公式：

两个事件的贝叶斯公式：

事件B发生的条件下事件A1发生的概率

事件B发生的条件下事件A2发生的概率

n个事件两个事件的贝叶斯公式：

假定存在一个互斥和完整的事件A1,A2,…,An， Ai中的某一个出现是事件B发生的必要条件，则n个事件的贝叶斯公式：

在贝叶斯定理中，每个名词都有约定俗成的名称：

           P(A)：事件A的先验概率或边缘概率。“先验”指其不考虑任何B方面的因素。

           P(A|B)：事件A的后验概率，即已知B发生后A的条件概率。

           P(B|A)：事件B的后验概率，即已知A发生后B的条件概率。

           P(B)：是事件B的先验概率或边缘概率。