Python手工实现朴素贝叶斯分类及预测
-
朴素贝叶斯的简单介绍
朴素贝叶斯是基于1、最大后验概率和 2、特征条件独立假设 的分类方法，其分类原理是根据某对象的先验概率和类概率计算出其后验概率，然后选择具有最大后验概率的类作为该对象所属的类别。
朴素贝叶斯分类器的公示如下：
假设某样本X具有n项特征，分别F1,F2,...,Fn。有m个类别，分别为C1,C2,...Cm。贝叶斯分类器就是计算出样本X地后验概率最大的分类，即求下面这个公式的最大值。
由于等式右边的分母部分对于每个类别C1，C2，C3...都相同，可以省略。所以贝叶斯分类的最大后验估计为求下面公式的最大值：
为了模型简单理解，朴素贝叶斯假设所有的特征都彼此独立，因此才被称之为朴素(naive)。
等号右边P(Ci)表示该类的先验概率,P(F|Ci)是类条件概率，即似然概率，表面在类别Ci中特征F的可能性。
-
例题及代码实现
下面例题为《人工智能数学基础》第八章的第一道习题
数据包含三种类别，分别是{感冒、过敏、脑震荡},训练数据如下表所示。预测一个打喷嚏的建筑工人诊断结果如何？
| 职业 | 症状 | 类别 |
| 护士 | 打喷嚏 | 感冒 |
| 农夫 | 打喷嚏 | 过敏 |
| 建筑工人 | 头痛 | 脑震荡 |
| 建筑工人 | 头痛 | 感冒 |
| 教师 | 打喷嚏 | 感冒 |
| 教师 | 头痛 | 脑震荡 |
首先来手算一下,根据病人是否感冒可将表格分为以下两部分
感冒的病人：
| 职业 | 症状 | 类别 |
| 护士 | 打喷嚏 | 感冒 |
| 建筑工人 | 头痛 | 感冒 |
| 教师 | 打喷嚏 | 感冒 |
非感冒的病人
| 职业 | 症状 | 类别 |
| 农夫 | 打喷嚏 | 过敏 |
| 建筑工人 | 头痛 | 脑震荡 |
| 教师 | 头痛 | 脑震荡 |
python代码实现如下
import pandas as pd
import numpy as np
def get_data():
'''获取数据，此处为直接输入，也可读取csv文件'''
df = pd.DataFrame(
[['护士', '打喷嚏', '感冒'], ['农夫', '打喷嚏', '过敏'], ['建筑工人', '头痛', '脑震荡'],
['建筑工人', '头痛', '感冒'], ['教师', '打喷嚏', '感冒'], ['教师', '头痛', '脑震荡']],
columns=['职业', '症状', '类别'])
return (df)
def test_data(): #获取测试数据，也可读取csv文件
df = pd.DataFrame([['建筑工人', '打喷嚏']], columns=['职业', '症状'])
return df
class NBClassify(object):
'''创建一个实现朴素贝斯模型的类'''
def __init__(self):
_tagProbablity = None #使用字典tagProbablity记录各类别的先验概率
_featuresProbablity = None #字典featureProbablity记录类别下各特征取值的条件概率
def train(self, df):
'''传入训练数据df，计算条件概率'''
# 计算每种类别的先验概率并输出
self._tagProbablity = dict(df['类别'].value_counts(normalize=True))
print('各类别的先验概率:\n', self._tagProbablity, '\n')
# 计算各特征及取值出现的次数，例如{'职业'{'护士':1, '农夫':1, ...}
dictFeaturesBase = {}.fromkeys(df.columns)
for column in df.columns:
SeriesFeature = dict(df[column].value_counts())
dictFeaturesBase[column] = SeriesFeature
del dictFeaturesBase['类别'] #删除类别信息
# print('各特征取值出现次数:\n', dictFeaturesBase)
# 初始化字典dictFeatures
# 格式{'感冒':{'职业':{'建筑工人':0, '教师':0...},{'症状':...}}'脑震荡':...}
dictFeatures = {}.fromkeys(df['类别']) #第一层字典{感冒:None,脑震荡:None...}
for key in dictFeatures.keys():
dictFeatures[key] = {}.fromkeys(
dictFeaturesBase) #第二层字典{'感冒': {'职业': None, '症状': None}...}
for key, value in dictFeatures.items():
for subkey in value.keys():
value[subkey] = {}.fromkeys(dictFeaturesBase[subkey],
0) # 第三层字典，初始值设为0
# print('dictFeature:\n', dictFeatures) #编写代码时方便理解和调试，可转换成代码执行
# 计算各类别，特征值及出现次数，存入字典dictFeatures中
for i in range(0, len(df)):
label = df.iloc[i]['类别']
for feature in df.columns[:-1]:
fvalue = df.iloc[i][feature]
dictFeatures[label][feature][fvalue] += 1
# print(dictFeatures)
#计算似然概率
for tag, featuresDict in dictFeatures.items():
for featureName, featureValueDict in featuresDict.items():
totalCount = sum(featureValueDict.values())
for featureKey, featureValues in featureValueDict.items():
featureValueDict[featureKey] = featureValues / totalCount
self._featuresProbablity = dictFeatures
print('每种特征的似然概率\n:', dictFeatures, '\n')
def predict(self, test_data):
for i in range(0, len(test_data)): # 遍历测试数据
probability = self._tagProbablity # 先验概率
for key in probability:
for column in test_data.columns:
# 先验概率 * Π似然概率
probability[key] = probability[
key] * self._featuresProbablity[key][column][
test_data[column][i]]
print(f'第{i+1}位患者的后验概率:', probability)
if __name__ == '__main__':
'''执行主程序'''
data = get_data() #获取训练数据
test_data = test_data()
model = NBClassify() #定义朴素贝叶斯模型
model.train(data)
model.predict(test_data)执行结果为
各类别的先验概率:{'感冒': 0.5, '脑震荡': 0.3333333333333333, '过敏': 0.16666666666666666}每种特征的似然概率: {'感冒': {'职业': {'建筑工人': 0.3333333333333333, '教师': 0.3333333333333333, '护士': 0.3333333333333333, '农夫': 0.0}, '症状': {'打喷嚏': 0.6666666666666666, '头痛': 0.3333333333333333}}, '过敏': {'职业': {'建筑工人': 0.0, '教师': 0.0, '护士': 0.0, '农夫': 1.0}, '症状': {'打喷嚏': 1.0, '头痛': 0.0}}, '脑震荡': {'职业': {'建筑工人': 0.5, '教师': 0.5, '护士': 0.0, '农夫': 0.0}, '症状': {'打喷嚏': 0.0, '头痛': 1.0}}}第1位患者的后验概率: {'感冒': 0.1111111111111111, '脑震荡': 0.0, '过敏': 0.0}