统计学习方法笔记（李航）———第四章（朴素贝叶斯法）

推荐阅读：小白之通俗易懂的贝叶斯定理（Bayes’ Theorem）

朴素贝叶斯法是一种多分类算法，它的基础是“朴素贝叶斯假设”（假设实例的各个特征具有条件独立性）。根据训练集估计模型的先验概率、条件概率，再按照后验概率最大化的准则，给出输入实例的分类预测。它的算法实现很简单，但理论证明并不容易。

具体来说，通过极大似然估计法估计先验概率、条件概率，计算过程比较复杂，书上也没有给出。本章主要分为3个部分：

• 朴素贝叶斯分类器，介绍它的基本假设与算法实现；
• 先验概率、条件概率的极大似然估计；
• 贝叶斯估计与拉普拉斯平滑。

一、朴素贝叶斯分类器

输入：训练集 $T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\dots \left(x_N,y_N\right)\right\}$,其中

$x_i={\left(x_i^{(1)},x_i^{(2)},\dots ,x_i^{(n)}\right)}^T,$ 第 $\mathrm{i}$ 个样本的第 $\mathrm{j}$ 个特征, $x_i^{(j)}\in \left\{a_{j1},a_{j2},\dots ,a_{j{S}_j}\right\}$

即某一特征的取值为有限集合（共 $S_j$个，不同的特征取值可能有所不同）， $y_i\in \left\{c_1,c_2,\dots ,c_K\right\},$ 即分类结果为有限集合（共K个 $)$

输出：实例 x 的分类

1. 计算先验概率及条件概率

$P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,\dots ,K$

$P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}$

$j=1,2,\dots n;l=1,2,\dots ,S_j;k=1,2,\dots ,K$
上述公式可以根据已知数据（训练集），求出总体分布的先验概率、条件概率，其中N为训练集的 实例数, K为分类数, n为特征空间维度, 为第 j 个特征取值的个数。

说明:

先验概率 $P\left(Y=c_k\right)$ 等于训练集里分类为 $c_k$ 的比例。通过示性函数 $I\left(y_i=c_k\right)$ 统计分类 为 $c_k$ 的实例数量, 再除以实例总数N, 得到分类为 $c_k$ 的比例;

条件概率 $P\left(X^{(j)}=a_{lj}\mid Y=c_k\right)$ 等于联合概率除以先验概率，而联合概率又可以用训练集里X、Y取值同时符合条件的数量来表示。实际上，条件概率可以表示为

$P\left(X^{(j)}=a_{lj}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)/N}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)/N}$

其中分母为先验概率，分子为联合概率。联合概率等于训练集里 $x_i^{(j)}=a_{jl}$ 和 $y_i=c_k$ 两个 条件同时满足的实例的比例。

补充：联合概率、边缘概率、条件概率之间的关系&贝叶斯公式

2. 对于给定的实例 $x={\left(x^{(1)},x^{(2)},\dots ,x^{(n)}\right)}^T,$ 计算

$f\left(c_k\right)=P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right),k=1,2,\dots ,K$

$f\left(c_k\right)\propto$ 后验概率 $P\left(Y=c_k\mid X=x\right),$ 因为根据贝叶斯公式

$P\left(Y=c_k\mid X=x\right)=\frac{P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}{P(X=x)}=\frac{{\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)P\left(Y=c_k\right)}{P(X=x)}$

其中 $P\left(X=x\mid Y=c_k\right)={\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)$ 就是"朴素贝早斯假设" $,$ 即 在 $Y=c_k$ 的条件下，特征向量 X=x 的概率等于它们各个分量同时相等的概率。朴素贝叶斯假 设（又称特征条件独立假设）的目的在于简化计算，但实际上特征之间有可能是相关的，所以此假 设有可能导致误差增大。

由于分母 $P(X=x)$ 不会随着 $c_k$ 取值不同而改变, 因此可看作一个常数。

3. 确定实例 x 的分类
$$y=\underset{c_k}{\mathrm{argmax}}P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)=\underset{c_k}{\mathrm{argmax}}f\left(c_k\right)$$

由于 $f\left(c_k\right)\propto$ 后验概率，只需找到 $c_k$ 使得 $f\left(c_k\right)$ 最大化, 即后验概率最大化。

二、参数的极大似然估计

一般在总体分布形式已确定的情况下，才能采用极大似然法进行参数估计。在总体分布未知的情况 下，又该如何进行参数估计呢？待估计的参数是什么？似然函数又是什么？

1. 先验概率的极大似然估计
朴素贝叶斯算法的 “预测系统” 是一个分类器，向它输入一个实例 x， 得到一个分类结果 y, 即 K 种类别中的一种 $c_k$ 。可以把它想象为一个黑盒子，里面装有 K 种颜色的小球, 摸出一个小球, 就完成了一次分类预测。盒子里面各种颜色小球的比例，从概率上决定了预测的结果，因此把 “小 球比例” （即各种分类的先验概率）作为参数是合理的。

${\theta }_1=P\left(Y=c_1\right),{\theta }_2=P\left(Y=c_2\right),\dots ,{\theta }_K=P\left(Y=c_K\right)$

训结集里的N个实例，即从黑盒子里摸出的N个小弘的结果。估计问题：在出现这N个结果的前提 下，黑盒子里面小球的比例应该是怎样的呢? 由此得到似然函数:

$L(Y;\theta )=P\left(Y=y_1,Y=y_2,\dots ,Y=y_N;{\theta }_1,\dots ,{\theta }_K\right)$
$y_i\in \left\{c_1,c_2,\dots ,c_K\right\}$

训结集里面的实例具有独立性, $L(Y;\theta )={\prod }_{i=1}^{N}P\left(Y=y_i;\theta \right)$

其中 $P\left(Y=y_i\right)=P\left(Y=c_k\right)={\theta }_k,$ 所以

$L(Y;\theta )={\prod }_{i=1}^{N}P\left(Y=y_i;\theta \right)={\theta }_1{\theta }_1\dots {\theta }_k\dots {\theta }_K={\prod }_{k=1}^K{\theta }_k^{N_k}$

它的对数似然图数为: $l(Y;\theta )=\ln {\prod }_{k=1}^K{\theta }_k^{N_h}={\sum }_{k=1}^K{N}_k\ln {\theta }_k$

其中 $N^k$ 是训结集里分状为 $\mathrm{k}$ 的实例的数量.
注意, 这里隐含两个约束条件:

(1) ${\sum }_{k=1}^K{\theta }_k={\theta }_1+{\theta }_2+\dots +{\theta }_K=1,$ 即各种类别比例之和等于1

(2) ${\sum }_{k=1}^K{N}_k=N_1+N_2+\dots +N_K=N,$ 即名种类别的实例数相加等于实例总数.

由于包含等式约束。需引入拉格朗日乘子求 “象件极值"：
$l\left({\theta }_k,\lambda \right)={\sum }_{k=1}^K{N}_k\ln {\theta }_k+\lambda \left({\sum }_{k=1}^K{\theta }_k-1\right),$ 它的极大值位于偏导数为零处

$\frac{\partial l}{\partial {\theta }_k}=\frac{\partial }{\partial {\theta }_k}\left[\left(N_1\ln {\theta }_1+N_2\ln {\theta }_2+\dots +N_K\ln {\theta }_K\right)+\lambda \left({\theta }_1+{\theta }_2+\dots +{\theta }_K-1\right)\right]$

$=\frac{N_k}{{\theta }_k}+\lambda =0,$ 经郊理得 $N_k=-\lambda {\theta }_k,$ 其中 $k=1,2,\dots ,K$ 共K个等式

如果把这 K个等式左右两边相加, 有 $N_1+N_2+\dots +N_K=-\lambda \left({\theta }_1+{\theta }_2+\dots +{\theta }_K\right)$

根据两个约束条件, 得到 $\lambda =-N,$ 所以

先验樹率 $P\left(Y=c_k\right)={\theta }_k=\frac{N_k}{N}=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N}$

2. 条件概率的极大似然估计

已知先验概率为 ${\theta }_k=P\left(Y=c_k\right)$

设条件概率为 ${\mu }_{ik}=P\left(X^{(j)}=a_{ji}\mid Y=c_k\right),$ 注意只针对第 j个特征, 其他同理。

$P\left(Y=c_k\right)P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=P\left(X^{(j)}=a_{jl},Y=c_k\right)={\theta }_k{\mu }_{lk}$

似然哲数 $L\left(\left(X^{(j)}=x_1^{(j)},Y=y_1\right),\dots ,\left(X^{(j)}=x_N^{(j)},Y=y_N\right);\mu ,\theta \right)={\prod }_{i=1}^{N}P\left(X^{(j)}=x_i^{(j)},Y=y_i\right)$

其中 $x_i^{(j)}\in \left\{a_{j1},a_{j2},\dots ,a_{j{S}_j}\right\},l\in \left\{1,2,\dots ,S_j\right\}$

$L(X,Y;\mu ,\theta )={\prod }_{i=1}^{N}P\left(X^{(j)}=x_i^{(j)},Y=y_i\right)$

$={\prod }_{i=1}^{N}P\left(X^{(j)}=a_{jl},Y=c_k\right)={\prod }_{l=1}^{S_f}{\prod }_{k=1}^K{\left({\theta }_k{\mu }_{lk}\right)}^{N_{lk}}$

其中 $N_{lk}$ 表示 $X^{(j)}=a_{jl}$ 和 $Y=c_k$ 两个条件同时满足的实例的数量.

对数似然函数为: $l(\mu ,\theta )={\sum }_{l=1}^{S_j}{\sum }_{k=1}^K{N}_k\left(\ln {\mu }_{lk}+\ln {\theta }_k\right)$

新增约束条件 (3)：

${\sum }_{l=1}^{S_j}{\mu }_{lk}=1,$ 由于 ${\mu }_{lk}=P\left(X^{(j)}=a_{jl}\mid Y=c_k\right),$ 且 $x_i^{(j)}\in \left\{a_{j1},a_{j2},\dots ,a_{j{S}_j}\right\}$

为有限集合. 把所有可能取值的概率相加，结果等于1。即

$P\left(X^{(j)}=a_{j1}\mid Y=c_k\right)+P{\left(X^{(j)}=a_{j2}\mid Y=c_k\right)}^{-\perp }\dots +P\left(X^{(j)}=a_{j{S}_j}\mid Y=c_k\right)=1$

引入拉格朗日乘子求“条件极值”：

$l\left({\mu }_{lk},{\theta }_k,\lambda \right)={\sum }_{l=1}^{S_j}{\sum }_{k=1}^K{N}_k\left(\ln {\mu }_{lk}+\ln {\theta }_k\right)+\lambda \left({\sum }_{l=1}^{S_j}{\mu }_{lk}-1\right)$

求 ${\mu }_{lk}$ 的偏导数等于0，过程与之前大同小异，只有下标恰好是$lk$的项留下了，其他均为零.

$\frac{\partial l}{\partial {\mu }_{lk}}=\frac{N_{lk}}{{\mu }_{lk}}+\lambda =0,$ 整理得 $N_{lk}=-\lambda {\mu }_{lk},$ 将其按 $l$ 野加起来, 得到

$N_{1k}+N_{2k}+\dots +N_{S_{jk}}=-\lambda \left({\mu }_{1k}+\dots +{\mu }_{S_{j}k}\right)$ 即 $N_k=-\lambda ,$ 因此

条件概率 $P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)={\mu }_{lk}=\frac{N_{lk}}{N_k}=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}$

三、参数的贝叶斯估计

已知极大似外估计的结果为

先验概率: $P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N}$

条件栖率: $P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}$

但如果在训练集里面，某一类别的实例数为0，将导致条件概率的分母为0 。
为领决这个问影，引入拉普拉斯平渦，增加一个正数 $\lambda >0$ ，使得

$P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }$

$P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)+\lambda }{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }$
上述公式，称为先验概率和条件概率的“贝叶斯估计”。

样例：

数据导入

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

from collections import Counter
import math

# data
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['label'] = iris.target
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    data = np.array(df.iloc[:100, :])
    # print(data)
    return data[:,:-1], data[:,-1]
    
X, y = create_data()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

X_test[0], y_test[0]
#(array([5.1, 3.8, 1.9, 0.4]), 0.0)

GaussianNB 高斯朴素贝叶斯

特征的可能性被假设为高斯
概率密度函数：

$P\left(x_i\mid y_k\right)=\frac{1}{\sqrt{2\pi {\sigma }_{yk}^2}}\exp \left(-\frac{{\left(x_i-{\mu }_{yk}\right)}^2}{2{\sigma }_{yk}^2}\right)$

数学期望(mean) : $\mu$

方差 $:{\sigma }^2=\frac{\sum (X-\mu {)}^2}{N}$

class NaiveBayes:
    def __init__(self):
        self.model = None

    # 数学期望
    @staticmethod
    def mean(X):
        return sum(X) / float(len(X))

    # 标准差（方差）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X)))

    # 概率密度函数
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x - mean, 2) /
                              (2 * math.pow(stdev, 2))))
        return (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent

    # 处理X_train
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries

    # 分类别求出数学期望和标准差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label: [] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)
        self.model = {
            label: self.summarize(value)
            for label, value in data.items()
        }
        return 'gaussianNB train done!'

    # 计算概率
    def calculate_probabilities(self, input_data):
        # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
        # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1
            for i in range(len(value)):
                mean, stdev = value[i]
                probabilities[label] *= self.gaussian_probability(
                    input_data[i], mean, stdev)
        return probabilities

    # 类别
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(
            self.calculate_probabilities(X_test).items(),
            key=lambda x: x[-1])[-1][0]
        return label

    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:
                right += 1

        return right / float(len(X_test))

model = NaiveBayes()
model.fit(X_train, y_train)
#'gaussianNB train done!'

print(model.predict([4.4,  3.2,  1.3,  0.2]))
#0.0

model.score(X_test, y_test)
#1.0

scikit-learn 实例

from sklearn.naive_bayes import GaussianNB

clf = GaussianNB()
clf.fit(X_train, y_train)
#GaussianNB(priors=None, var_smoothing=1e-09)

clf.score(X_test, y_test)
#1.0

clf.predict([[4.4,  3.2,  1.3,  0.2]])
#array([0.])

课后习题

习题4.1用极大似外估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式 (4.9)。

第1步: \quad 证明公式(4.8): $\mathrm{P}\left(\mathrm{Y}={\mathrm{c}}_{\mathrm{k}}\right)=\frac{{\sum }_{i=1}^N\mathrm{I}\left({\mathrm{y}}_{\mathrm{i}}={\mathrm{c}}_{\mathrm{k}}\right)}{\mathrm{N}}$

$$\mathrm{L}(\mathrm{p})=\mathrm{f}\mathrm{D}\left({\mathrm{y}}_1,{\mathrm{y}}_2,\cdots ,{\mathrm{y}}_{\mathrm{n}}\mid \theta \right)=\left(\begin{array}{c}\mathrm{N}\\ \mathrm{m}\end{array}\right){\mathrm{p}}^{\mathrm{m}}(1-\mathrm{p}{)}^{(\mathrm{N}-\mathrm{m})}$$

使用微分求极值，两边同时对p求微分：
$$\begin{array}{rl}0& =\left(\begin{array}{l}\mathrm{N}\\ \mathrm{m}\end{array}\right)\left[{\mathrm{m}\mathrm{p}}^{(\mathrm{m}-1)}(1-\mathrm{p}{)}^{(\mathrm{N}-\mathrm{m})}-(\mathrm{N}-\mathrm{m}){\mathrm{p}}^{\mathrm{m}}(1-\mathrm{p}{)}^{(\mathrm{N}-\mathrm{m}-1)}\right]\\ & =\left(\begin{array}{c}\mathrm{N}\\ \mathrm{m}\end{array}\right)\left[{\mathrm{p}}^{(\mathrm{m}-1)}(1-\mathrm{p}{)}^{(\mathrm{N}-\mathrm{m}-1)}(\mathrm{m}-\mathrm{N}\mathrm{p})\right]\end{array}$$
可求解得到p $=0,\mathrm{p}=1,\mathrm{p}=\frac{\mathrm{m}}{\mathrm{N}}$

显然P $\left(\mathrm{Y}={\mathrm{c}}_{\mathrm{k}}\right)=\mathrm{p}=\frac{\mathrm{m}}{\mathrm{N}}=\frac{{\sum }_{\mathrm{i}=1}^{\mathrm{N}}\mathrm{I}\left({\mathrm{y}}_{\mathrm{i}}={\mathrm{c}}_{\mathrm{k}}\right)}{\mathrm{N}},$ 公式(4.8)得证。

参考自：
黄博机器学习初学者
统计学习方法习题解答