Hadoop:数值型数据的朴素贝叶斯分类

朴素贝叶斯分类器用在符号型数据上比较多,如何处理数值型数据能找到的资料比较少,《数据算法:Hadoop/Saprk大数据处理技巧》这本书简要介绍了如何处理数值型数据。

假设数据服从一定的分布,通常假设为高斯分布(正态分布),于是只需要从训练数据中计算出每一类每一维度的均值和方差,就可以估计给定任一数值的后验概率。

对于一条新的数据 x,x 的第 i 维上的数据在给定类别时出现的概率:
x 在给定类别时出现的概率:
预测 x 的类别为
使用Hadoop实现时可以分为3个Job:

  • Job1:计算均值
  • Job2:计算方差
  • Job3:预测

重点是前两个Job,预测的Job可以与前两个分离,保存计算的结果,实现一次训练,多次预测

你可能感兴趣的:(Hadoop:数值型数据的朴素贝叶斯分类)