[算法工程师必备-数学知识]-1贝叶斯分类器

1.定义

  贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。它的设计方法是一种最基本的统计分类方法。其分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

2.种类

  研究较多的贝叶斯分类器主要有四种，分别是Naive Bayes、TAN、BAN和GBN。

3.解释

  贝叶斯网络是一个带有概率注释的有向无环图，图中的每一个结点均表示一个随机变量，图中两结点间若存在着一条弧，则表示这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。网络中任意一个结点X均有一个相应的条件概率表（Conditional Probability Table, CPT），用以表示结点X在其父结点取各可能值时的条件概率。若结点X无父结点，则X的CPT为其先验概率分布。贝叶斯网络的结构及各结点的CPT定义了网络中各变量的概率分布。

4.分类

  贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c₁, c₂, ... , c_m)，还包含一组结点X = (X₁, X₂, ... , X_n)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x = (x₁, x₂, ... , x_n) ，则样本D属于类别c_i的概率P(C = c_i | X₁ = x₁, X₂ = x₂, ... , X_n = x_n) ，(i = 1, 2, ... , m) 应满足下式：
  P(C = c_i | X = x) = Max{P(C = c₁ | X = x), P(C = c₂ | X = x), ... , P(C = c_m | X = x)}
  而由贝叶斯公式：
  P(C = c_i | X = x) = P(X = x | C = c_i) * P(C = c_i) / P(X = x)
  其中，P(C = c_i) 可由领域专家的经验得到，而P(X = x | C = c_i) 和P(X = x) 的计算则较困难。

5.两阶段

  应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，Naive Bayes、TAN、BAN、GBN就是其中较典型、研究较深入的贝叶斯分类器。