理论
公式推导
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法，即对给定的输入 ，预测其类别 。
此方法的思路是首先由训练数据计算 和 的估计,然后得到联合概率分布
之后利用贝叶斯定理及学到的联合概率分布计算 属于类别 的概率
对于给定的输入 ，通过上式计算 属于类别 的概率 ，即
又由朴素贝叶斯法的特征条件独立性假设，有
其中， 为 维向量， 为 的第 个特征。故
将 分到后验概率最大的类中，朴素贝叶斯分类器可表示为
又因为上式中分母对于所有 都是相同的，故上式可以简化为
由上式可知，只要由训练数据估计出每一个类别的概率 和输入的每一个特征值在某一类别下的概率 ，便可进行预测。下面介绍进行估计的两种方法。
参数估计
极大似然估计
假设训练数据集为 。
先验概率 的极大似然估计为
设第 个特征 可能取值的集合为 ，条件概率 的极大似然估计为
其中， 是第 个样本的第 个特征； 是第 个特征可能取的第 个值； 为指示函数，满足取 ，否则取 。
贝叶斯估计
极大似然估计可能会出现所要估计的概率值为0的情况，在随机变量各个取值的频数上赋予一个正数 ，常取 ，称为拉普拉斯平滑。
实现
训练一个朴素贝叶斯分类器并确定 的类标记 。表中 ， 为特征，取值集合分别为 ， ， 为类标记，。
训练数据 train_data.csv
ID,X1,X2,Y
1,1,S,-1
2,1,M,-1
3,1,M,1
4,1,S,1
5,1,S,-1
6,2,S,-1
7,2,M,-1
8,2,M,1
9,2,L,1
10,2,L,1
11,3,L,1
12,3,M,1
13,3,M,1
14,3,L,1
15,3,L,-1
代码实现 naivebayes.py
# -*- coding: utf-8 -*-
import pandas as pd
def add2dict(thedict, key_a, key_b, val):
if key_a in thedict.keys():
thedict[key_a].update({key_b: val})
else:
thedict.update({key_a:{key_b: val}})
def conditionalProbability(obj, attribute, clazz, lambd):
C = obj[clazz].value_counts()
label = C.index
counts = C.values
CP = dict()
for i in range(label.size):
for j in range(attribute.size):
temp = obj[obj[clazz] == label[i]][attribute[j]]
CC = temp.value_counts()
Sj = obj[attribute[j]].value_counts().index.size
P = ( CC + lambd) / ( counts[i] + Sj*lambd)
add2dict(CP,label[i],attribute[j],P) # Using dict to store probabilities
return CP
def priorProbability(obj, clazz, lambd):
C = obj[clazz].value_counts()
N = float(obj.index.size)
K = float(C.index.size)
P = ( C + lambd ) / ( N + K*lambd)
return P
def predicts(x, obj, attribute, clazz,lambd):
label = obj[clazz].value_counts().index # Types of class
P = priorProbability(obj,clazz, lambd) # Prior probability
CP = conditionalProbability(obj, attribute, clazz, lambd) # Conditional probability
max_p = 0 # Probability of the most likely class
max_c = '' # The most likely class
for i in range(label.size):
cur_max_p = 1
for j in range(attribute.size):
cur_max_p *= CP[label[i]][attribute[j]][x[j]]
cur_max_p *= P[label[i]]
if cur_max_p > max_p:
max_c = str(label[i])
max_p = cur_max_p
return [max_c,max_p]
df = pd.read_csv('train_data.csv', encoding='utf-8')
[max_c,max_p] = predicts([2,'S'],df, df.columns.drop('Y').drop('ID'), 'Y', 1)
print(max_c,max_p)