python实践之：用朴素贝叶斯实现分类

第一部分：朴素贝叶斯理论介绍

公式如下：

其中：p(A)、 P(B)称为先验概率，P(A|B)、 P(B|A)称为后验概率、条件概率。

贝叶斯理论描述这样一件事情：当我们知道历史数据，即等式右边，就可以预测未来，等式左边。

虽然预测是有一定概率的，但它仍然给我们预测未来一个可以参考的数据，即概率。

再通俗一点，上述公式表述为：通过历史数据知道A的先验概率，以及B的后验概率时，我们就可以通过贝叶斯理论，估算A的后验概率（在特征B出现的情况下）。

经典的India人糖尿病预测问题就是这样计算出来的。

之所以成为朴素贝叶斯：是因为在讨论各个特征时，假设特征之间是相互独立的，这样贝叶斯计算比较方便。

第二部分：朴素贝叶斯的处理的一般流程为：

其中提取数据特征时：若是离散变量，则直接计算特征的概率即可；若是连续变量，则通过高斯函数来计算均值和方差，从而得出特征值的概率。

提取特征的如下：

接下来就是预测了，步骤如下：

第三部分：python代码

#!/usr/bin/env python
# coding=utf-8

# Example of Naive Bayes implemented from Scratch in Python
import csv
import random
import math

def loadCsv(filename):
    lines = csv.reader(open(filename, "r"))
    dataset = list(lines)
    for i in range(len(dataset)):
        dataset[i] = [float(x) for x in dataset[i]]
    return dataset

def splitDataset(dataset, splitRatio):
    trainSize = int(len(dataset) * splitRatio)
    trainSet = []
    copy = list(dataset)
    while len(trainSet) < trainSize:
        index = random.randrange(len(copy))     #随机选择一个索引
        trainSet.append(copy.pop(index))        #放入训练集，减少测试集规模
    return [trainSet, copy]                     #返回训练集、测试集

def separateByClass(dataset):                   #把数据集按类别分组
    separated = {}      #建立一个字典
    for i in range(len(dataset)):
        vector = dataset[i]
        if (vector[-1] not in separated):
            separated[vector[-1]] = []          #建立字典key值
        separated[vector[-1]].append(vector)    #将样本记录放入字典的value
    return separated

#均值
def mean(numbers):
    return sum(numbers)/float(len(numbers))

#标准方差
def stdev(numbers):
    avg = mean(numbers)
    variance = sum([pow(x-avg,2) for x in numbers])/float(len(numbers)-1)
    return math.sqrt(variance)

#计算均值和方差
def summarize(dataset):
    summaries = [(mean(attribute), stdev(attribute)) for attribute in zip(*dataset)]    #zip函数负责压缩
    del summaries[-1]       #删除列表最后一个元素，即类别属性
    return summaries

def summarizeByClass(dataset):              #计算每个类别的均值和方差
    separated = separateByClass(dataset)
    summaries = {}      #新建字典
    for classValue, instances in separated.items():
        summaries[classValue] = summarize(instances)
    return summaries

#假设属性都服从高斯分布，求出概率密度函数
def calculateProbability(x, mean, stdev):
    exponent = math.exp(-(math.pow(x-mean,2)/(2*math.pow(stdev,2))))
    return (1 / (math.sqrt(2*math.pi) * stdev)) * exponent

def calculateClassProbabilities(summaries, inputVector):
    probabilities = {}
    for classValue, classSummaries in summaries.items():
        probabilities[classValue] = 1
        for i in range(len(classSummaries)):        #每个属性循环
            mean, stdev = classSummaries[i]         #每个属性的均值和方差
            x = inputVector[i]                      #待测试数据的当前属性
            probabilities[classValue] *= calculateProbability(x, mean, stdev)   #得到每个类别判断的概率值，属性概率值相乘
    return probabilities        #得到所有类别判断的概率值

#根据训练集数据特征，预测每个测试样本的类别属性
def predict(summaries, inputVector):
    probabilities = calculateClassProbabilities(summaries, inputVector)
    bestLabel, bestProb = None, -1
    for classValue, probability in probabilities.items():
        if bestLabel is None or probability > bestProb:
            bestProb = probability
            bestLabel = classValue
    return bestLabel

#预测测试集的类别属性
def getPredictions(summaries, testSet):
    predictions = []
    for i in range(len(testSet)):
        result = predict(summaries, testSet[i])
        predictions.append(result)
    return predictions      #所有测试样本的预测结果

def getAccuracy(testSet, predictions):
    correct = 0
    for i in range(len(testSet)):
        if testSet[i][-1] == predictions[i]:
            correct += 1
    return (correct/float(len(testSet))) * 100.0

def main():
    filename = 'naiveBayes/pima-indians.data.csv'
    splitRatio = 0.67
    dataset = loadCsv(filename)
    trainingSet, testSet = splitDataset(dataset, splitRatio)
    print('Split %s rows into train=%s and test=%s rows' %(len(dataset), len(trainingSet), len(testSet)))
    # prepare model
    # summary = summarizeByClass(trainingSet)
    summaries=summarizeByClass(trainingSet)
    # test model
    predictions = getPredictions(summaries, testSet)
    accuracy = getAccuracy(testSet, predictions)
    print('Accuracy: %s' %(accuracy))

main()

运行结果：

Split 768 rows into train=514 and test=254 rows
Accuracy: 76.37795275590551

注意事项

1、朴素贝叶斯假设各个特征之间相互独立，所以称为朴素。

2、特征值之间是离散的，就直接计算概率值；若是连续值，则认为服从高斯分布，用均值和方差计算概率密度函数。

3、这里假定特征值的个数已知，实际情况下，并不一定知道。

4、数据文件见参考文献2的链接。

5、当特征属性的概率值为o时，可能造成分类误差，解决办法是加入Laplace校准，也成加一平滑，使分子不为0.

6、如果概率相乘，小数太多容易溢出，则可以修改为log,把乘法改成加法，避免误差。

7、经典分析案例：印第安人糖尿病概率，社交账号真实分类，文本分类，新闻分类等等。

参考文章：

1、http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

2、http://python.jobbole.com/81019/?f=geek

3、可以参考scikit-learn开源库和weka, 学习贝叶斯是如何实现的