《统计学习方法》：第四章：朴素贝叶斯

一、朴素贝叶斯的学习和分类

• 假设训练集：$T=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$;由联合概率分布$P(X,Y)$产生。其中$x\in R^n$;$y\in \{c_1,c_2,\dots ,c_K\}$。
• 朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$;具体的是学习以下先验概率分布和条件概率分布：$$P(Y=c_k);k=1,2,3\dots ,K$$$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\dots ,X^{(n)}=x^{(n)}|Y=c_k);k=1,2,3\dots ,K$$最后在得到联合概率分布$P(X,Y)$。
• 条件概率分布$P(X=x|Y=c_k)$有指数级个参数；假设$x^{(}(j))$可取的值有$S_j$个，$j=1,2,\dots ,n,Y$可取的值有$K$个，则条件概率的参数个数为：$K{\prod }_{j=1}^n{S}_j$ .实际估计这么多个参数是不可能的。
• 注意：这个地方的参数个数可能相对比较难理解一点：
  • 其实我们可以将联合概率分类和条件概率分布都理解为一个句子，句子的行表示$X$，列表示$Y$，中间存的就是概率即参数，这样矩阵的行数：就是$X$可能的取值个数，列数：就是$Y$可能取值的个数。例如：对于上面的条件概率分布,其对应的矩阵行数：${\prod }_{j=1}^n{S}_j$，列数：$K$。所有矩阵的元素个数即参数个数就是$K{\prod }_{j=1}^n{S}_j$。
  • 而对于先验概率分布相对容易很多，我们可以将它理解为一个长度为$K$的数组，数组中的元素就是该分布的参数($K$个)，每个元素代表着$Y$的一个取值的概率。
    
• 为了减少条件概率分布的参数个数，朴素贝叶斯法对条件概率分布做出了条件独立的假设。这个条件概率变为：$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\dots ,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$参数的个数由乘变成加，即：$K{\sum }_{j=1}^n{S}_j$
• 朴素贝叶斯法学习的是联合概率分布，所以是生成模型。条件独立假设等于是说用于分类的特征在类别确定的条件下都是独立的。
• 朴素贝叶斯分类时：对于给定的输入$x$，通过学习到的模型(其实就是矩阵)计算后验概率$P(Y=c_k|X=x)$，将后验概率最大的类别作为$x$的类别。后验概率的公式：$$P(Y=c_k│X=x)=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{{\sum }_{K}P(X=x|Y=c_k)\ast P(Y=c_k)}$$$$P(Y=c_k│X=x)=\frac{P(Y=c_k)\ast {\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{K}P(Y=c_k)\ast {\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$观测上面公式我们发现，对所有的$c_k$公式的分母时相同的，所以对判断大小没有影响，则分类公式可以改为：$$y=f(x)=\underset{c_k}{\max }P(Y=c_k)\ast \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

二、朴素贝叶斯的参数估计算法

1、极大似然估计：

• 朴素贝叶斯法的学习，其实质就是估计先验概率$P(X,Y)$和条件概率分布$P(X=x|Y=c_k)$，也就是确定：$P(X,Y)$对于数组中的元素和$P(X=x|Y=c_k)$对应矩阵中的元素。我们可以使用极大似然估计法来确定其中的参数。
• 补充以下最大似然估计的数学知识：由于这里是离散性的随机变量所以只讲离散型的情况：
  • 若总体$X$为离散型，其概率分布列为:$P(X=x)=p(x;\theta )$;其中$\theta$为为未知参数。设 我们以有的样本为$(x_1,x_2,\dots ,x_n)$，则所有样本同时发生的概率是： $$L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i,\theta )$$这个函数也叫似然函数。
  • 最大似然估计法的基本思想是：我们估计出的$\theta$要使我们已经采用得到的样本发生概率最大化，即要使似然函数最大化。
  • 这样我们求出似然函数的最大值点就是我们要的参数$\theta$，注意样本$(x_1,x_2,\dots ,x_n)$都是已知的
• 最后经过最大似然估计法，我们得到的先验概率为： $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N};k=1,2,\dots ,K$$其实质就是用频率来估计概率。
• 条件概率$P(X^{(j)}=x^{(j)}|Y=c_k)$的最大似然估计为：这里假设第$j$个特征$X^{(j)}$可取值的集合为：$\{a_{j1},a_{j2},\dots ,a_{j{S}_j}\}$:$$P(X^{(j)}=a_{jl}│Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl};y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$$x_i^{(j)}$表示第$i$个样本的第$j$个特征。
• 当我我们有了样本，根据上面的共就可以估计出：先验概率分布$P(Y=c_k)$对应的列表的K个参数，和条件概率分布n个特征的$n$个条件分布$P(X^{(j)}=a_{j}l│Y=c_k)$对应的$n$个矩阵的所有参数。分类是我们就可以通过查找这个矩阵和列表求出决策函数的值，从而得到预测。

2、贝叶斯估计：

• 根据决策函数：$$y=f(x)=\underset{c_k}{\max }P(Y=c_k)\ast \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$我们发现，他们是连成的这会导致只有其中一个元素为$0$最后得到的概率就会为$0$，即使在其他元素比较大的情况下。特别是在$X^{(j)}$中某个取值训练样本中没有是，这个问题尤为严重。
• 为了解决这个问题我们使用贝叶斯估计，条件概率的贝叶斯估计为：$$P_{\lambda }(X^{(j)}=a_{jl}│Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{j}l;y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$其中$\lambda \ge 0$, 条件概率的贝叶斯估计为：$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$