大师兄的数据分析学习笔记(十六）：分类模型(二）

大师兄的数据分析学习笔记(十五）：分类模型(一）
大师兄的数据分析学习笔记(十七）：分类模型(三）

二、朴素贝叶斯

1. 回顾概率

• 概率是可能性判别的大小，概率值越大事件越可能发生，反之则越不可能发生。
• 条件概率，在一定条件(事件发生的情况)下，事件发生的概率。
• 联合概率，事件和事件共同发生的概率。
• 条件概率和联合概率有如下关系：
• 全概率公式：
• 综合以上情况，可以得到贝叶斯公式： ->

• 贝叶斯公式用来描述两个条件概率之间的关系。
• 从上面的公式可以看出，贝叶斯公式的分子可以看作联合概率，而分母可以看作全概率。

2. 朴素贝叶斯的基本思想

• 首先朴素贝叶斯Naive Bayes中朴素Naive的含义是，数据中的特征相互独立。
• 假设1000个微信好友中，真实账号比例，虚假账号比例，且已知特征：

• ：日志数量/注册天数，离散化：
• ：好友数量/注册天数，离散化：

• 如果某账号状态： 落入区间1, 落入区间1, 落入区间0
• 已知条件：

真实账号落入的比例为0.5： / 虚假账号落入的比例为0.1:
真实账号落入的比例为0.7： / 虚假账号落入的比例为0.2:
真实账号落入的比例为0.2： / 虚假账号落入的比例为0.2:

• 根据贝叶斯公式：
• 由于朴素贝叶斯中特征是相互独立的，内部转化后：
• 将已知条件带入后，可以分别获得真实账号和虚假账号的值：

• 由于真实账号的值大于虚假账号的值，所以更倾向认为账号是真实账号。

3. 拉普拉斯平滑

• 回到朴素贝叶斯公式：
• 假设条件概率导致 并造成整个公式为0。
• 为了避免这种情况，需要将全部条件概率加1。

4. 代码实现

>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.model_selection import train_test_split
>>>from sklearn.naive_bayes import GaussianNB,BernoulliNB
>>>from sklearn.metrics import  accuracy_score,recall_score,f1_score

>>>models = []
>>>models.append(("GaussianNB",GaussianNB()))
>>>models.append(("BernoulliNB",BernoulliNB()))

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X_tt,X_validation,Y_tt,Y_validation = train_test_split(df.JobLevel,df.JobSatisfaction,test_size=0.2)
>>>X_train,X_test,Y_train,Y_test = train_test_split(X_tt,Y_tt,test_size=0.25)

>>>data = df[["JobSatisfaction","JobLevel"]]

>>>for clf_name,clf in models:
>>>    clf.fit(np.array(X_train).reshape(-1,1),np.array(Y_train).reshape(-1,1))
>>>    xy_lst = [(X_train,Y_train),(X_validation,Y_validation),(X_test,Y_test)]
>>>    for i in range(len(xy_lst)):
>>>        X_part = xy_lst[i][0]
>>>        Y_part = xy_lst[i][1]
>>>        Y_pred = clf.predict(np.array(X_part).reshape(-1,1))
>>>        print(i)
>>>        print(clf_name,"-ACC",accuracy_score(Y_part,Y_pred))
>>>        print(clf_name,"-REC",recall_score(Y_part,Y_pred,average='macro'))
>>>        print(clf_name,"-F1",f1_score(Y_part,Y_pred,average='macro'))
>>>       print("="*40)
0
GaussianNB -ACC 0.3253968253968254
GaussianNB -REC 0.25
GaussianNB -F1 0.12275449101796408
========================================
1
GaussianNB -ACC 0.2755102040816326
GaussianNB -REC 0.25
GaussianNB -F1 0.10799999999999998
========================================
2
GaussianNB -ACC 0.30952380952380953
GaussianNB -REC 0.25
GaussianNB -F1 0.11818181818181818
========================================
0
BernoulliNB -ACC 0.3253968253968254
BernoulliNB -REC 0.25
BernoulliNB -F1 0.12275449101796408
========================================
1
BernoulliNB -ACC 0.2755102040816326
BernoulliNB -REC 0.25
BernoulliNB -F1 0.10799999999999998
========================================
2
BernoulliNB -ACC 0.30952380952380953
BernoulliNB -REC 0.25
BernoulliNB -F1 0.11818181818181818
========================================

5. 生成模型与判别模型

• 生成模型：通过求输入与输出的联合概率分布，再求解类别归类的概率，比如朴素贝叶斯模型。
• 判别模型：不通过联合概率分布，直接可以获得输出对应最大分类的概率，比如KNN。
• 生成模型相对判别模型对数据的要求更高，速度也更快。
• 判别模型相对生成模型对数据的容忍程度更高，使用范围更广。