《统计学习方法》—— 朴素贝叶斯方法、详细推导及其python3实现（一）

前言

朴素贝叶斯方法通过构造数据生成分布来预测未知数据的类型，属于生成模型。这里之所以称为“朴素”，是因为我们假设数据特征之间具有互相独立的假设。

在这篇博客里，我们将介绍朴素贝叶斯方法，并对其进行推导，最后给出python3的实现代码。

1. 朴素贝叶斯方法

记数据集为 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中，$x_i\in {\mathbb{R}}^n$，$y_i\in \{c_1,c_2,...,c_k\}$。

我们假设数据按照分布 $P(X,Y)$ 独立同分布生成。这是容易理解的，类似于做 $N$ 次抛硬币实验，我们假设单次抛硬币的分布为$P(X)$，实验结果同样是独立同分布的。

朴素贝叶斯方法可以简述如下：

• 输入：数据集 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$；新数据 $x_{N+1}$
• 输出：新数据 $x_{N+1}$ 的标记 $y_{N+1}$，其中，$$y_{N+1}=\underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}P(Y=c|X=x_{N+1})$$

上面的 $y_{N+1}$ 输出表达式可以这样理解：在给定数据 $x_{N+1}$ 的情况下，每一种标记都有可能，我们选择概率最大的标记作为 $x_{N+1}$ 的标记。

这样的决策遍布于生活之中。 比如，一个人35岁单身，我们有两种猜测，这个人过于优秀，或者这个人没有吸引力。我们选择概率最大的那个，也就是 $P(过于优秀|35岁单身)<P(没有吸引力|35岁单身)$。所以，我们基本做出结论，35岁单身是因为自身不够有吸引力~

我们可以接着对上面的输出表达式分析一下，看看我们需要什么：
$$\begin{array}{lll}{y}_{N+1}& =& \underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}P(Y=c|X=x_{N+1})\\ & =& \underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}\frac{P(Y=c,X=x_{N+1})}{P(X=x_{N+1})}\\ & =& \underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}\frac{P(Y=c,X=x_{N+1})}{{\sum }_{c\in \{c_1,c_2,...,c_k\}}P(X=x_{N+1}|Y=c)P(Y=c)}\\ & =& \underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}P(Y=c,X=x_{N+1})\\ & =& \underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}P(X=x_{N+1}|Y=c)P(Y=c)\\ & =& \underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}P(Y=c){\Pi }_{i=1}^{n}P(X^{(i)}=x_{N+1}^{(i)}|Y=c)\end{array}$$

说明：

• 第二个和第三个等号是从贝叶斯公式直接得到；第三个等号并不需要，只是一般都会写出来，可以直接忽略
• 第四个等号可以从第二个等号直接得到，这是由于第二个等号的分母部分与变量 $c$ 无关，所以不影响决策
• 第五个等号同样可以由贝叶斯公式得到
• 第六个等号则由 特征之前互相独立 假设得到

从上面公式可以知道，为了得到 $y_{N+1}$，我们需要知道

• 先验概率 $P(Y=c)$
• 条件概率 $P(X^{(i)}=x_{N+1}^{(i)}|Y=c)$

下面，我们将用极大似然估计得到上述两个概率。

1.1 先验概率 $P(Y=c)$

记 $n_j$ 为 $c_j$ 在数据集 $\{y_1,y_2,...,y_N\}$ 中出现的次数。设 $p_j=P(Y=c_j)$，则似然函数
$$\begin{array}{lll}L(p_j)& =& log(p_j^{n_j}\cdot (1-p_j{)}^{N-n_j})\\ & =& n_j\cdot log{p}_j+(N-n_j)\cdot log(1-p_j)\end{array}$$

对似然函数 $L(p_j)$ 求导，有
$$\frac{\partial L(p_j)}{\partial p_j}=\frac{n_j}{p_j}-\frac{N-n_j}{1-p_j}$$

令 $\frac{\partial L(p_j)}{\partial p_j}=0$，有
$$\begin{array}{lll}{p}_j& =& \frac{n_j}{N}\\ & =& \frac{{\sum }_{i=1}^{N}I(y_i=c_j)}{N}\end{array}$$

因此，我们有 $$P(Y=c)=\frac{{\sum }_{i=1}^{N}I(y_i=c)}{N}$$

1.2 条件概率 $P(X^{(i)}=x_{N+1}^{(i)}|Y=c)$

记数据 $x$ 的第i维数值 $x^{(i)}$ 有 $s_i$ 个不同取值 $\{x^{(i1)},x^{(i2)},...,x^{(i{s}_i)}\}$。取数据集 $T$ 的子集 $T_k=\{(x,y)\in T|y=c_k\}$，设 $n_j$ 为 $x^{(ij)}$ 在数据集 $\{x^{(i)}|(x,y)\in T_k\}$ 中出现的次数。

进一步的，设 $p_j=P(X^{(i)}=x^{(ij)}|Y=c_k)$。与先验概率的极大似然估计一样，我们可以得到
$$\begin{array}{lll}{p}_j& =& \frac{n_j}{|\{x^{(i)}|(x,y)\in T_k\}|}\\ & =& \frac{{\sum }_{l=1}^{N}I(x_l^{(i)}=x^{(ij)},y_l=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}\end{array}$$

所以，我们有 $$P(X^{(i)}=x^{(ij)}|Y=c_k)=\frac{{\sum }_{l=1}^{N}I(x_l^{(i)}=x^{(ij)},y_l=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

也即意味着 $$P(X^{(i)}=x_{N+1}^{(i)}|Y=c)=\frac{{\sum }_{l=1}^{N}I(x_l^{(i)}=x_{N+1}^{(i)},y_l=c)}{{\sum }_{i=1}^{N}I(y_i=c)}$$

1.3 朴素贝叶斯算法

将先验概率和条件概率代入 $y_{N+1}$ 表达式中，得到
$$y_{N+1}=\underset{c\in \{c_1,c_2,...,c_k\}}{\mathrm{argmax}}\frac{{\sum }_{i=1}^{N}I(y_i=c)}{N}\cdot {\Pi }_{i=1}^n\frac{{\sum }_{l=1}^{N}I(x_l^{(i)}=x_{N+1}^{(i)},y_l=c)}{{\sum }_{l=1}^{N}I(y_l=c)}$$

综合上面讨论，我们有如下的朴素贝叶斯算法（见《统计学习方法》第二版 p62）。

• 输入：数据集 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中，$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})$，$x_i^{(j)}$是$x_i$的第$j$个特征， $x_i^{(j)}\in \{a_{j1},a_{j2},...,a_{j{S}_j}\}$，$y_i\in \{c_1,c_2,...,c_K\}$；实例 $x$
• 输出：实例 $x$ 的分类 $y$

(1) 先验概率及条件概率
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

(2) 对于给定的 $x=(x^{(1)},x^{(2)},...,x^{(n)})$，计算
$$P(Y=c_k){\Pi }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

(3) 确定实例 $x$ 的类
$$y=\underset{c_k}{\mathrm{argmax}}P(Y=c_k){\Pi }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

2. 后验概率最大化与期望损失最小化

我们证明，期望损失最小化实际上与后验概率最大化等价。

设损失函数为0-1损失函数，即，
$$L(Y,f(X))=\{\begin{array}{lll}1& if& Y\ne f(X)\\ 0& if& Y=f(X)\end{array}$$

则期望损失函数为
$$\begin{array}{lll}{R}_{exp}(f)& =& E_{X\times Y}[L(Y,f(X))]\\ & =& E_X[{\sum }_{k=1}^{K}L(c_k,f(X))P(Y=c_k|X)]\end{array}$$

我们希望选择一个 $f$，使得 $R_{exp}(f)$ 最小，也就是
$$\begin{array}{lll}f(\cdot )& =& \underset{f}{\mathrm{argmin}}{R}_{exp}(f)\\ & =& \underset{f}{\mathrm{argmin}}{E}_X[{\sum }_{k=1}^{K}L(c_k,f(X))P(Y=c_k|X)]\\ & =& \underset{f}{\mathrm{argmin}}{E}_X[R(X,f(X))]\\ & =& \underset{f}{\mathrm{argmin}}{\sum }_{x\in Range(X)}R(x,f(x))P(X=x)\end{array}$$

其中， $R(X,f(X))={\sum }_{k=1}^{K}L(c_k,f(X))P(Y=c_k|X)]$。

显然，上式中 ${\sum }_{x\in Range(X)}R(x,f(x))P(X=x)$ 是函数 $R(x,f(x)),x\in Range(X)$ 的一个线性组合。我们只需要让$R(x,f(x))$最小，就能确保它关于 $x$ 的线性组合最小。

所以，接下来的问题就是，如何在给定 $x$ 的情况下，求得 $R(x,f(x))$ 的最小值。其实观察这个式子，可以知道，只有 $f(x)$ 这个数值（注意，不是函数）是未知的，所以我们可以选择 $y=f(x)$，使得 $R(x,y)$ 最小。对于每一个 $x$，我们都求出这样的 $y$，这样，我们将这样的 $x$ 和 $y$ 的映射，记做函数 $f$，也就是， $f(x)=y$。

对于给定 $x$，我们有
$$\begin{array}{lll}f(x)& =& \underset{y\in Range(Y)}{\mathrm{argmin}}{\sum }_{k=1}^{K}L(c_k,y)P(Y=c_k|X=x)\\ & =& \underset{y\in Range(Y)}{\mathrm{argmin}}P(Y\ne y|X=x)\\ & =& \underset{y\in Range(Y)}{\mathrm{argmin}}\left(1-P(Y=y|X=x)\right)\\ & =& \underset{y\in Range(Y)}{\mathrm{argmax}}P(Y=y|X=x)\\ & =& \underset{c_k\in Range(Y)}{\mathrm{argmax}}P(Y=c_k|X=x)\end{array}$$

证毕。

在下一篇博客中，我们将介绍python3实现。