7.gitchat训练营-朴素贝叶斯分类器——从贝叶斯定理到分类模型

1.分类VS回归

Classification VS Regression

         分类模型VS回归模型，最根本的不同：前者是预测一个标签（类型、类别）；后者则是预测一个量。
        换一个角度来看，分类模型输出的预测值是离散值；而回归模型输出的预测值则是连续值。也就是说输入一个样本给模型，回归模型给出的预测结果是在某个值域（一般是实数域或其子集）上的任意值；而分类模型则是给出特定的某几个离散值之一。

2.贝叶斯定理

贝叶斯公式如下：

        用语言解释就是：在 B 出现的前提下 A 出现的概率，等于 A 和 B 都出现的概率除以 B 出现的概率。
一般化的贝叶斯公式
        更一般化的情况，假设事件 本身又包含多种可能性，即 是一个集合：，那么对于集合中任意的，贝叶斯定理可用下式表示：

连续概率的贝叶斯定理的形式为（下面所说的A和B对应之前贝叶斯公式中的A与B）：

        其中，是给定时，的后验分布；则是A的先验分布概率函数。
        为了方便起见，这里的 f 在这些专有名词中代表不同的函数。

3.朴素贝叶斯分类器（Naïve Bayes Classifier）

        “朴素贝叶斯”（Naïve Bayes）既可以是一种算法——朴素贝叶斯算法，也可以是一种模型——朴素贝叶斯分类模型（分类器）。

朴素贝叶斯算法

        首先讲作为算法的 Naïve Bayes，朴素贝叶斯算法可以直接利用贝叶斯定理来实现。先来看简洁版的贝叶斯定理：

        在之前的几个例子中，为了便于理解，当 B 作为 A 的条件出现时，我们假定它总共只有一个特征。但在实际应用中，很少有一件事只受一个特征影响的情况，往往影响一件事的因素有多个。假设，影响的因素有个，分别是。
        则可以写为：

        的先验概率和多个因素的联合概率都是可以单独计算的，与和之间的关系无关，因此这两项都可以被看作常数。
        对于求解在，最关键的是。根据链式法则可得：

        上面的求解过程，看起来好复杂，但是，如果从到这些特征之间，在概率分布上是条件独立的，也就是说每个特征与其他特征都不相关。
        那么，当时，有——无关条件被排除到条件概率之外。因此，当中每个特征与其他个特征都不相关时，就有：

        注意此处的z对应。

一款极简单的朴素贝叶斯分类器

        上式中的到是特征（Feature），而则是最终的类别（Class），所以，换一个写法：

        这个公式也就是我们的朴素贝叶斯分类器的模型函数！
        它用来做预测时是这样的：

• 有一个朴素贝叶斯分类模型（器），它能够区分出个类，用来分类的特征有个：。
• 现在有个样本s，我们要用NB分类器对它做预测，则需要先提取出这个样本的所有特征值和，将其带入到下式中进行次运算：
  
• 然后比较这次的结果，选出使得运算结果达到最大值的那个——这个对应的类别就是预测值。
          假设我们当前有一个模型，总共只有两个类别：和；有三个Feature：，和。有两种可能性取值：和；有三种可能性取值：、、；也有两种可能性取值：、。
          那么对于这个模型，我们要做的就是通过训练过程，获得下面这些值：
  
  
  
  
  
          把这些概率值都算出来以后，就可以用来做预测了。
          比如我们有一个需要预测的样本 X，它的特征值分别是、、，那么
  样本被分为的概率是：
  
  
  样本被分为的概率是：
  
  
          两者都算出来以后，只需要对比和谁更大，那么这个样本的预测值就是对应类别。