朴素贝叶斯学习笔记

朴素贝叶斯的使用前提条件是离散值，随机变量独立．公式的推导过程如下：
已知随机变量ｘ,y.
　 p(x,y)= p(x|y)(y)　　
p(y,x)= p(y|x)p(x)
联立１，２得：　p(x|y)p(y)=p(y|x)p(x)
贝叶斯公式　p(x|y)= p(y|x)*p(x)/p(y)
其中p(x)叫做先验概率，由训练样本统计计算得到的，p(y|x)叫似然概率，p(y)叫边缘概率．p(x|y)叫后验概率．
两个ｔｒick
　　当条件概率p(y|x)=0,在计算机中，我们一般用一个极小值去代替，这个过程叫平滑．
　　当计算得到的多个后验概率很小很小，我们一般对概率取ｌｏｇ, 得到一个负的，绝对值大于１的值．虽然概率变了，但是概率的相对大小不变．