统计学习方法 第4章 朴素贝叶斯法 习题答案

1 描述

设输入空间$\mathcal{X}\subseteq R^n$为$n$维向量的集合，输出空间为类标记集合$\mathcal{Y}=\{c_1,c_2,\dots ,c_K\}$。输入为特征向量$x\in \mathcal{X}$，输出为类标记$y\in Y$。$X$是定义在输入空间$\mathcal{X}$上的随机变量，$Y$是定义在输出空间$\mathcal{Y}$上的随机变量。$P(X,Y)$是$X$和$Y$的联合概率分布。训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$$由$P(X,Y)$独立同分布产生。

2 推导

$$P(Y|X)=\frac{P(XY)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}$$
$$\begin{array}{rl}y=f(x)& =arg\underset{c_k}{\max }\frac{P(X|Y=c_k)P(Y=c_k)}{P(X)}\\ & =arg\underset{c_k}{\max }P(X|Y=c_k)P(Y=c_k)\\ & =arg\underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$
朴素贝叶斯法是典型的生成学习方法。

3 含义

朴素贝叶斯分类用的是概率模型$y=P(Y|X)$。为什么要这样呢？
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。
假设选择$0-1$损失函数：
$$L(Y,f(X))=\{\begin{array}{ll}1,& Y̸=f(X)\\ 0,& Y=f(X)\end{array}$$
这时，期望风险函数为
$$\begin{array}{rl}{R}_{exp}(f)& =E[L(Y,f(X))]\\ & =E_X\sum _{k=1}^{K}L(c_k,f(X))P(c_k|X)\end{array}$$
为了使期望风险最小化，只需对$X=x$逐个极小化，由此得到：
$$\begin{array}{rl}f(x)& =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }P(y̸=c_k|X=x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }(1-P(y=c_k|X=x))\\ & =arg\underset{y\in \mathcal{Y}}{\max }P(y=c_k|X=x)\end{array}$$
这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：
$$f(x)=arg\underset{c_k}{\max }P(c_k|X=x)$$

4 参数估计

学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$。

4.1极大似然估计法

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\dots ,K\text{\hspace{1em}(4.8)}$$
设第$j$个特征可能的取值的集合为$\{a_{j1},a_{j2},\dots ,a_{j{S}_j}\}$
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,\dots ,N;l=1,2,\dots ,S_j;k=1,2,\dots ,K\text{\hspace{1em}(4.9)} \end{gathered}$$

4.2贝叶斯估计

$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda },k=1,2,\dots ,K\text{\hspace{1em}(4.10)}$$
设第$j$个特征可能的取值的集合为$\{a_{j1},a_{j2},\dots ,a_{j{S}_j}\}$
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda } \\ j=1,2,\dots ,N;l=1,2,\dots ,S_j;k=1,2,\dots ,K\text{\hspace{1em}(4.11)} \end{gathered}$$
常取$\lambda =1$，这时称为拉普拉斯平滑。
#5 习题
4.1 用极大似然估计法推出朴素贝叶斯法中的概率公式（4.8）及公式（4.9）
设${\theta }_k=P(Y=c_k),k=1,2,\dots ,K$
$I_k={\sum }_{i=1}^{N}I(y_i=c_k)$
$$\begin{array}{rl}L({\theta }_1,{\theta }_2,\dots ,{\theta }_K)& =\prod _{i=1}^{N}P(y_i)\\ & =\prod _{k=1}^K{\theta }_k^{I_k}\end{array}$$
其中${\sum }_{k=1}^K{\theta }_k=1,{\sum }_{i=1}^N{I}_k=N$。
$$\begin{array}{rl}l(\theta )=logL(\theta )& =\sum _{k=1}^K{I}_{k}log{\theta }_k\\ & =\sum _{k=1}^{K-1}{I}_{k}log{\theta }_k+(1-\sum _{k=1}^{K-1}{I}_k)log(1-\sum _{k=1}^{K-1}{\theta }_k)\end{array}$$
对它求导，求使导数为0的$\theta$值。
$$\begin{array}{rl}\frac{\partial l(\theta )}{\partial {\theta }_k}& =\frac{I_k}{{\theta }_k}-\frac{(1-{\sum }_{k=1}^{K-1}{I}_k)}{1-{\sum }_{k=1}^{K-1}{\theta }_k}\\ & =\frac{I_k}{{\theta }_k}-\frac{I_K}{{\theta }_K}\\ & =0\\ 即\frac{I_k}{{\theta }_k}=\frac{I_K}{{\theta }_K},(k=1,2,\dots ,K-1)& \\ 设\frac{I_k}{{\theta }_k}=x,(k=1,2,\dots ,K)& \\ \frac{I_k}{x}={\theta }_k& \\ \sum _{k=1}^K\frac{I_k}{x}=\sum _{k=1}^K{\theta }_k& \\ \frac{N}{x}=1& \\ x=N& \\ 即\frac{I_k}{{\theta }_k}=N& \\ {\theta }_k=\frac{I_k}{N}& \\ 即（4.8）& \end{array}$$
（4.9）同理
4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式（4.10）及公式（4.11）

贝叶斯估计和传统的极大似然估计的区别就是，参数值是固定的还是也当做随机变量。传统的极大似然估计，把参数$\theta$当做固定的一个值，不变的，只是目前还不知道，通过最大化$L$求出$\theta$；贝叶斯估计认为参数$\theta$也是随机变量，它也服从一个分布（$\beta$分布）。

设：
${\theta }_k=P(Y=c_k),k=1,2,\dots ,K$
$I_k={\sum }_{i=1}^{N}I(y_i=c_k)$

$\theta$服从$\beta$分布：$P(\theta )=P({\theta }_1,{\theta }_2,\dots ,{\theta }_K)={\prod }_{i=1}^K{\theta }_i^{a_i}$，在对系统类别分布一无所知的情况下，可以假设类别是均匀分布的，也就是$a_1=a_2=\cdots =a_K$，那么$\theta$分布可以写成$P(\theta )={\prod }_{i=1}^K{\theta }_i^{\lambda }$。

整体事件发生的概率如下：
$$\begin{array}{rl}L(\theta )& =P(Y_1,Y_2,\dots ,Y_N,\theta )\\ & =\prod _{i=1}^{N}P(Y_i)P(\theta )\\ & =\prod _{k=1}^K{\theta }_k^{I_k}{\theta }_k^{\lambda }\\ & =\prod _{k=1}^K{\theta }_k^{I_k+\lambda }\end{array}$$
参数$\theta =arg\underset{\theta }{\max }L(\theta )$为了便于计算，对上式两边求对数，如下：
$$l(\theta )=\sum _{k=1}^K(I_k+\lambda )log{\theta }_k$$
其中${\sum }_{k=1}^K{\theta }_k=1,{\sum }_{i=1}^N{I}_k=N$。

对$l(\theta )$求偏导数，使其为$0$，得到参数$\theta$。
$$\frac{\partial l(\theta )}{\partial {\theta }_k}=\frac{I_k+\lambda }{{\theta }_k}-\frac{I_K+\lambda }{{\theta }_K}=0$$.

由上式可得：${\theta }_k=\frac{I_k+\lambda }{I_K+\lambda }{\theta }_K$，把所有${\theta }_k$加在一块得：
$$\begin{array}{rl}\sum _{k=1}^K{\theta }_k& =\sum _{k=1}^K\frac{I_k+\lambda }{I_K+\lambda }{\theta }_K\\ 1& =\frac{N+K\lambda }{I_K+\lambda }{\theta }_K\end{array}$$
得：$${\theta }_k=\frac{I_K+\lambda }{N+K\lambda }$$
即式（4.11）。（4.10）略。

---

$\theta$服从当先验分布为Dirichlet分布，$p(\theta )=\frac{\prod {\theta }_i^{{\lambda }_i}}{一个归一化常数}$。$y$是多变量分布，当$y$为二值分布时，Dirichlet分布退化为$\beta$分布，$p(\theta )=\frac{{\theta }^{a-1}(1-\theta {)}^{b-1}}{常数}$。

https://blog.csdn.net/jteng/article/details/60334628