weka: naive bayes
m_NumClasses 训练数据中类的个数
m_NumAttributes 属性的个数
m_Instances 训练数据
m_ClassDistribution 类的概率分布， 即P(C)。 其类型是Estimator， 估值器
m_Distributions[m_NumAttributes][m_NumClasses] 每个属性在每个类中的概率分布。 其类型也是Estimator。
1） 数值类型要用连续分布的Estimator， 如NormalEstimator
2） 名词性类型， 如（少年人、中年人、老年人）， 需要离散化， 如DiscreteEstimator
然后增量式的训练。
针对每个样本， 修改m_Distributions[m_NumAttributes][m_NumClasses]， 以及 m_ClassDistribution
识别时， 通过调用函数 distributionForInstance， 该函数返回正规化的一组值， 表示该待测样本在每个类中的概率
public void updateClassifier(Instance instance) throws Exception { if (!instance.classIsMissing()) { Enumeration enumAtts = m_Instances.enumerateAttributes(); int attIndex = 0; while (enumAtts.hasMoreElements()) { Attribute attribute = (Attribute) enumAtts.nextElement(); if (!instance.isMissing(attribute)) { m_Distributions[attIndex][(int)instance.classValue()]. addValue(instance.value(attribute), instance.weight()); } attIndex++; } m_ClassDistribution.addValue(instance.classValue(), instance.weight()); } }
核心是 Estimator， 如NormalEstimator
//data表示属性的值， weight表示该属性值所在样本的样本权重 public void addValue(double data, double weight) { if (weight == 0) { return; } data = round(data); m_SumOfWeights += weight; m_SumOfValues += data * weight; m_SumOfValuesSq += data * data * weight; if (m_SumOfWeights > 0) { m_Mean = m_SumOfValues / m_SumOfWeights; double stdDev = Math.sqrt(Math.abs(m_SumOfValuesSq - m_Mean * m_SumOfValues) / m_SumOfWeights); // If the stdDev ~= 0, we really have no idea of scale yet, // so stick with the default. Otherwise... if (stdDev > 1e-10) { m_StandardDev = Math.max(m_Precision / (2 * 3), // allow at most 3sd's within one interval stdDev); } } } /** * Get a probability estimate for a value * * @param data the value to estimate the probability of * @return the estimated probability of the supplied value */ //计算该属性的值为data的概率 public double getProbability(double data) { data = round(data); double zLower = (data - m_Mean - (m_Precision / 2)) / m_StandardDev; double zUpper = (data - m_Mean + (m_Precision / 2)) / m_StandardDev; double pLower = Statistics.normalProbability(zLower); double pUpper = Statistics.normalProbability(zUpper); return pUpper - pLower; }
对应到bogofilter的bayes，
类个数为2； 属性个数就是token的个数
Estimator就是简单的计数
训练时，
扫描待训练邮件的逐个token，增加其在对应类别中的计数===>m_Distributions；
增加对应类别的样本数====> m_ClassDistribution
分类时，
1）得到各个类的先验概率 P(C)
2）乘以该属性在该类中出现的概率 P(D|C), D为待测文档，D由一组token组成
P(C|D) = P(C) *P(D|C)/P(D)； 其中P(D)不必求，都一样， 只需要求出P(C)*P(D|C)即可
其中， P(D|C) = P(t1|C)*,,,*P(tn|C)........条件独立。 只需要 P(ti|C) 与 P(tj|C) 独立即可。 因此是条件独立