统计学习方法--朴素贝叶斯法

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白
补充：对于统计学习方法的第一章节的部分概念和数学公式已放置到公众号中，需要的朋友可直接去公众号中下载

朴素贝叶斯(naïve Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。

朴素贝叶斯法与贝叶斯估计(Bayesian estimation) 是不同的概念。

对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布:然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率。
贝叶斯公式：
$$P(B_i\mid A)=\frac{P(B_i)P(A\mid B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A\mid B_j)}$$
公式中，事件$B_i$的概率为$P(B_i)$，事件$B_i$已发生条件下事件$A$的概率为$P(A\mid B_i)$，事件$A$发生条件下事件$B_i$的概率为$P(B_i\mid A)$

朴素贝叶斯法的学习与分类

基本方法

设输入空间$\mathcal{X}\subseteq R^n$为$n$维向量的集合，输出空间为类标记集合$\mathcal{Y}=\{c_1,c_2,\cdots ,c_K\}$。输入为特征向量$x\in \mathcal{X}$，输出为类标记(class label)$y\in \mathcal{Y}$。$X$是定义在输入空间$\mathcal{X}$上的随机向量，$Y$是定义在输出空间$\mathcal{Y}$上的随机变量。$P(X,Y)$是$X$和$Y$的联合概率分布。训练数据集：
$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$
由$P(X,Y)$独立同分布产生。

朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$。具体地，学习以下先验概率分布及条件概率分布。先验概率分布
$$P(Y=c_k),k=1,2,\cdots ,K\text{\hspace{1em}(4.1)}$$
条件概率分布
$$P(X=x\mid Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}\mid Y=c_k),k=1,2,\cdots ,K\text{\hspace{1em}(4.2)}$$
于是学习到联合概率分布$P(X,Y)$。

条件概率分布$P(X=x\mid Y=c_k)$有指数级数量的参数，其估计实际是不可行的。事实上，假设$x^{(j)}$可取值有$S_j$个，$j=1,2,\cdots ,n$，$Y$可取值有$K$个，那么参数个数为$K{\prod }_{j=1}^n{S}_j$。

朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是
$$\begin{array}{rl}P(X=x\mid Y=c_k)& =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}\mid Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}\mid Y=c_k)\end{array}\text{\hspace{1em}(4.3)}$$

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

朴素贝叶斯法分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k\mid X=x)$， 将后验概率最大的类作为$x$的类输出。后验概率计算根据贝叶斯定理进行:
$$P(Y=c_k\mid X=x)=\frac{P(X=x\mid Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x\mid Y=c_k)P(Y=c_k)}\text{\hspace{1em}(4.4)}$$
将式(4.3) 代入式(4.4) ，有
$$P(Y=c_k\mid X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}\mid Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}\mid Y=c_k)},k=1,2,\cdots ,K\text{\hspace{1em}(4.5)}$$
这是朴素贝叶斯法分类的基本公式。于是， 朴素贝叶斯分类器可表示为
$$y=f(x)=arg\underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}\mid Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}\mid Y=c_k)}\text{\hspace{1em}(4.6)}$$
注意到，在式(4.6) 中分母对所有$c_k$都是相同的，所以，
$$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}\mid Y=c_k)\text{\hspace{1em}(4.7)}$$

后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设选择0-1 损失函数:
$$L(Y,f(x))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$$
式中$f(X)$是分类决策函数。这时，期望风险函数为
$$R_{exp}(f)=E[L(Y,f(X))]$$
期望是对联合分布$P(X,Y)$取的。由此取条件期望
$$R_{exp}(f)=E_x\sum _{k=1}^K[L(c_k,f(X))]P(c_k\mid X)$$
为了使期望风险最小化，只需对$X=x$逐个极小化，由此得到：
$$\begin{array}{rl}f(x)& =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}L(c_k,y)P(c_k\mid X=x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}P(y\ne c_k\mid X=x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }(1-P(y=c_k\mid X=x))\\ & =arg\underset{y\in \mathcal{Y}}{\min }P(y=c_k\mid X=x)\end{array}$$
这样一来，根据期望风险最小化准则就得到了后验概率最大化准则:
$$f(x)=arg\underset{c_k}{\max }P(c_k\mid X=x)$$
即朴素贝叶斯法所采用的原理。
相关理解：https://blog.csdn.net/rea_utopia/article/details/78881415

朴素贝叶斯法的参数估计

极大似然估计

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}\mid Y=c_k)$。可以应用极大似然估计法估计相应的概率。先验概率$P(Y=c_k)$的极大似然估计是
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K\text{\hspace{1em}(4.8)}$$
设第$j$个特征$x^{(j)}$可能取值的集合为$a_{j1},a_{j2},\cdots ,a_j{s}_j$，条件概率$P(X^{(j)}=a_{jl}\mid Y=c_k)$的极大似然估计是
$$\begin{gathered} P(X^{(j)}=a_{jl}\mid Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\text{\hspace{1em}(4.9)} \end{gathered}$$
式中，$x_i^{(j)}$是第$i$个样本的第$j$个特征；$a_{il}$是第$j$个特征可能取的第$l$个值；$I$为指示函数。
$I$指示函数:当$y_i=c_k$时$I(y_i=c_k)=1$(不想等时为0),然后求和统计个数${\sum }_{i=1}^{N}I(y_i=c_k)$

学习与分类算法

算法4. 1 ( 朴素贝叶斯算法( naïve Bayes algorithm) )
输入：训练数据$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}{)}^T,x_i^{(j)}$是$i$个样本的第$j$个特征，$x_i^{(j)}\in \{a_{j1},a_{j2},\cdots ,a_{j{S}_j}\},a_{jl}$是第$j$个特征可能取的第$l$个值，$j=1,2,\cdots ,n,l=1,2,\cdots ,S_j,y_i\in \{c_1,c_2,\cdots ,c_K\}$；实例$x$；
输出：实例$x$的分类。
（1）计算先验概率及条件概率
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$$
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
$$j=1,2,\cdots ,n；l=1,2,\cdots ,S_j；k=1,2,\cdots ,K$$
(2)对于给定的实例$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^T$，计算
$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)，k=1,2,\cdots ,K$$
（3）确定实例$x$的类
$$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

例4.1 试由表4.1的训练数据学习一个朴素贝叶斯分类器并确定$x=(2,S{)}^T$的类标记$y$。表中$X^{(1)},X^{(2)}$为特征，取值的集合分别为$A_1=\{1,2,3\},A_2=\{S,M,L\},Y$为类标记，$Y\in C=\{1,-1\}$

解 根据算法4.1，由表4.1，容易计算下列概率：

对于给定的$x=(2,S{)}^T$计算：

因为$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)$最大，所以$y=-1$。

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0 的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地，条件概率的贝叶斯估计是

式中$\lambda \ge 0$。等价于在随机变量各个取值的频数上赋予一个正数$\lambda \ge 0$。当$\lambda =0$时就是极大似然估计。常取$\lambda =1$，这时称为拉普拉斯平滑(Laplacian smoothing) 。显然，对任何$l=1,2,\cdots ,S_j,k=1,2,\cdots ,K$，有
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0$$
$$\sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1$$
表明式(4.10) 确为一种概率分布。同样，先验概率的贝叶斯估计是

例4.2 问题同例4.1，按照拉普拉斯平滑估计概率，即取$\lambda =1$。
解 $A_1=1,2,3,A_2=S,M,L,C=1,-1$。按照式(4.10) 和式(4.11) 计算下列概率:

对于给定的$x=(2,S{)}^T$，计算：

由于$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)$最大，所以$y=-1$。

代码部分

参考：https://machinelearningmastery.com/naive-bayes-classifier-scratch-python/

数据准备

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

from collections import Counter
import math

# data
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['label'] = iris.target
    df.columns = [
        'sepal length', 'sepal width', 'petal length', 'petal width', 'label'
    ]
    data = np.array(df.iloc[:100, :])
    print(data[:6])
    return data[:, :-1], data[:, -1]

X, y = create_data()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

X_test[0], y_test[0]

模型：

• 高斯模型
• 多项式模型
• 伯努利模型

GaussianNB高斯朴素贝叶斯

特征的可能性被假设为高斯概率密度函数(正态分布)：
$$P(x_i|y_k)=\frac{1}{\sqrt{2\pi {\sigma }_{yk}^2}}exp(-\frac{(x_i-{\mu }_{yk}{)}^2}{2{\sigma }_{yk}^2})$$

数学期望(mean)：$\mu$

方差：${\sigma }^2=\frac{\sum (X-\mu {)}^2}{N}$

class NaiveBayes:
    def __init__(self):
        self.model = None
        
    # 数学期望；正态分布的期望、均数、中位数、众数相同，均等于μ
    @staticmethod  # @staticmethod: https://blog.csdn.net/polyhedronx/article/details/81911548
    def mean(X):
        return sum(X) / float(len(X))
    
    # 标准差（均方差）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X)))
    
    # 概率密度函数
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x - mean, 2) / 
                             (2 * math.pow(stdev, 2))))
        return (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent
    
    # 处理X_train
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries
    
    # 分类别求出数学期望和标准差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label: [] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)  # data={(y:x),...}
        self.model = {
            label: self .summarize(value)  # label: self .summarize(value)={(y:期望，标准差),...}
            for label, value in data.items()
        }
        return 'gaussianNB train done!'
    
    # 计算概率
    def calculate_probabilities(self, input_data):
         # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
         # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1  # {(y1:1),(y2:1)...}
            for i in range(len(value)):
                mean, stdev = value[i]
                # x_test使用训练集的期望和标准差，计算其在相对于的y中的概率
                probabilities[label] *= self.gaussian_probability(  # {(y1:概率),(y2:概率)...}
                    input_data[i], mean, stdev)
        return probabilities
        
    # 类别
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(
            self.calculate_probabilities(X_test).items(),
            key=lambda x: x[-1]) [-1][0]  # 找出概率最大时相对应的y
        return label
    
    # 计算分类正确的数量的比例
    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:  # 若概率最大时相对应的y，与测试集中的y相等
                right += 1
                
        return right / float(len(X_test))

model = NaiveBayes()
model.fit(X_train, y_train)

print(model.predict([4.4, 3.2, 1.3, 0.2]))

model.score(X_test, y_test)

scikit-learn实例

from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()
clf.fit(X_train, y_train)

clf.score(X_test, y_test)

clf.predict([[4.4,  3.2,  1.3,  0.2]])

from sklearn.naive_bayes import BernoulliNB, MultinomialNB # 伯努利模型和多项式模型

第4章朴素贝叶斯法-习题

习题4.1

  用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式 (4.9)。
解答：
第1步： 证明公式(4.8)：$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N}$
由于朴素贝叶斯法假设$Y$是定义在输出空间$\mathcal{Y}$上的随机变量，因此可以定义$P(Y=c_k)$概率为$p$。
令$m=\sum _{i=1}^{N}I(y_i=c_k)$，得出似然函数：$$L(p)=f_D(y_1,y_2,\cdots ,y_n|\theta )=(\genfrac{}{}{0ex}{}{N}{m})p^m(1-p{)}^{(N-m)}$$使用微分求极值，两边同时对$p$求微分：$$\begin{array}{rl}0& =\left(\genfrac{}{}{0ex}{}{N}{m}\right)\left[m{p}^{(m-1)}(1-p{)}^{(N-m)}-(N-m)p^m(1-p{)}^{(N-m-1)}\right]\\ & =\left(\genfrac{}{}{0ex}{}{N}{m}\right)\left[p^{(m-1)}(1-p{)}^{(N-m-1)}(m-Np)\right]\end{array}$$可求解得到$p=0,p=1,p=\frac{m}{N}$
显然$P(Y=c_k)=p=\frac{m}{N}=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N}$，公式(4.8)得证。

---

第2步： 证明公式(4.9)：$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$
令$P(X^{(j)}=a_{jl}|Y=c_k)=p$，令$m=\sum _{i=1}^{N}I(y_i=c_k),q=\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)$，得出似然函数：$$L(p)=\left(\genfrac{}{}{0ex}{}{m}{q}\right)p^q(i-p{)}^{m-q}$$使用微分求极值，两边同时对$p$求微分：$$\begin{array}{rl}0& =\left(\genfrac{}{}{0ex}{}{m}{q}\right)\left[q{p}^{(q-1)}(1-p{)}^{(m-q)}-(m-q)p^q(1-p{)}^{(m-q-1)}\right]\\ & =\left(\genfrac{}{}{0ex}{}{m}{q}\right)\left[p^{(q-1)}(1-p{)}^{(m-q-1)}(q-mp)\right]\end{array}$$可求解得到$p=0,p=1,p=\frac{q}{m}$
显然$P(X^{(j)}=a_{jl}|Y=c_k)=p=\frac{q}{m}=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$，公式(4.9)得证。

习题4.2

  用贝叶斯估计法推出朴素贝叶斯法中的慨率估计公式(4.10)及公式(4.11)
解答：
第1步： 证明公式(4.11)：$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$
加入先验概率，在没有任何信息的情况下，可以假设先验概率为均匀概率（即每个事件的概率是相同的）。
可得$p=\frac{1}{K}\iff pK-1=0(1)$
根据习题4.1得出先验概率的极大似然估计是$pN-\sum _{i=1}^{N}I(y_i=c_k)=0(2)$
存在参数$\lambda$使得$(1)\cdot \lambda +(2)=0$
所以有$$\lambda (pK-1)+pN-\sum _{i=1}^{N}I(y_i=c_k)=0$$可得$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$，公式(4.11)得证。

---

第2步： 证明公式(4.10)：$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+S_j\lambda }$
根据第1步，可同理得到$$P(Y=c_k,x^{(j)}=a_{jl})=\frac{\sum _{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})+\lambda }{N+K{S}_j\lambda }$$
$$\begin{array}{rl}P(x^{(j)}=a_{jl}|Y=c_k)& =\frac{P(Y=c_k,x^{(j)}=a_{jl})}{P(y_i=c_k)}\\ & =\frac{\frac{\sum _{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})+\lambda }{N+K{S}_j\lambda }}{\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }}\\ & =(\lambda 可以任意取值，于是取\lambda =S_j\lambda )\\ & =\frac{\frac{\sum _{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})+\lambda }{N+K{S}_j\lambda }}{\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K{S}_j\lambda }}\\ & =\frac{\sum _{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }(其中\lambda =S_j\lambda )\\ & =\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+S_j\lambda }\end{array}$$
公式(4.11)得证。

数据来源：统计学习方法(第二版) &
https://github.com/fengdu78/lihang-code