朴素贝叶斯原理及实现(Naive Bayes)

项目地址：https://github.com/Daya-Jin/ML_for_learner/blob/master/naive_bayes/Gaussian Naive Bayes.ipynb
原博客：https://daya-jin.github.io/2018/10/04/NaiveBayes/

模型概述

首先回顾一下贝叶斯公式：

以二分类为例，上述公式以机器学习任务的形式来写的话就成为了：

其中为待预测样本。对于需要算的几个概率，一个一个来看。

，注意到样本是一个同时有多个值的向量，，在数据集中很可能没有跟待预测样本完全相同的样本，那么就没法直接计算。注意到在各特征相互独立的前提下，有：

，这个好办，直接计算样本中负样本出现的频率，相对应地，即样本中正样本出现的频率。

这个概率同样不好直接计算，根据全概率公式，有：

在各特征独立的条件下，上式可以写成：

容易看出，对同一个数据集而言，是不变的，所以只需要关注分子即可。

所以上述问题在多分类的情况下可以用以下公式来表达：

其中为待预测样本，为模型输出，为数据集中的样本的第个特征，为数据集标签，为第个类别。同时注意到上面做了两次假设：各特征之间相互独立，这是朴素贝叶斯最重要的一个前提条件。

连续属性

对于数据集中的连续属性
，怎么计算？可假设该连续特征在某一类别下服从某一分布，如高斯分布。

一点改进

在原始的问题公式中，如果累乘项中的某一项为零，那么就会影响最终结果从而始终得到零概率输出，如有一项
，则不管该样本的其他属性如何，模型对该样本属于各个类别的预测概率均为0，这说明模型没有很好的泛化能力。有两种改进方法：

1. 将累乘取对数转换成累加

2. 拉普拉斯修正

   原概率计算公式为
   ，
   ，经拉普拉斯修正后的概率计算公式为，，其中为数据集的类别数，为第个特征的可能取值数。

实现指导

完整代码