朴素贝叶斯法

  朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。简单来说，朴素贝叶斯分类器假设样本每个特征与其他特征都不相关。

思想

1)输入空间:X∈RnX∈Rn 为nn 维向量空间的集合。输出空间为分类标记空间 Y=c1,c2...ckY=c1,c2...ck。 
训练集

T=(x1,y1),(x2,y2)...(xN,yN)T=(x1,y1),(x2,y2)...(xN,yN)

是由独立同分布的概率函数 p(X,Y)p(X,Y)  产生的。这里 xk表示样本数据，其含有xk表示样本数据，其含有 n 个特征，表示为x1k...xnk个特征，表示为xk1...xkn 。并且这些特征是 条件概率分布独立 。 
也就是： 

2)朴素贝叶斯法分类标记：对于待测试的输入xx，计算其在不同的类别下发生的概率。也即是计算p(Y=ck|x)p(Y=ck|x)，然后根据概率的大小，把xx分到相应的类别中。那么

p(Y=ck|x)=p(x|Y=ck)p(Y=ck)∑kp(x|Y=ck)p(Y=ck)p(Y=ck|x)=p(x|Y=ck)p(Y=ck)∑kp(x|Y=ck)p(Y=ck)

也就是有如下公式： 
 
等式左边我们没法计算。朴素贝叶斯法就是计算等式右边的值。对于不同的类别 ckck ，分母是 p(x)p(x)  的全概率公式，是一个常数。所以说，我们只计算分子的值就好了。

3)计算子的值：其中，p(Y=ck)p(Y=ck)，由训练数据的类别标签，可以直接计算。p(xj|Y=ck)=p(xj,ck)p(Y=ck)p(xj|Y=ck)=p(xj,ck)p(Y=ck)，利用条件概率进行计算。

三：算法

朴素贝叶斯的主要优点有：

　　　　1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

　　　　2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

　　　　3）对缺失数据不太敏感，算法也比较简单，常用于文本分类。

　　　　朴素贝叶斯的主要缺点有：　　　

　　　　1） 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

　　　　2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

　　　　3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

　　　　4）对输入数据的表达形式很敏感。