朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型，对给定的输入$x$,利用贝叶斯定理求出后验概率最大的输出$y$,朴素贝叶斯实现简单，学习和预测效率都很高，是一种常用的方法。
本章叙述朴素贝叶斯法，包括朴素贝叶斯的学习与分类，朴素贝叶斯的参数估计算法。

朴素贝叶斯的学习与分类

基本方法

设输入空间$x\subseteq R^n$为n维度向量的集合，输出空间为类标记集合$y$ = {$c_1,c_2,...,c_k$}。
输入为特征向量$x\in X$,输出为类标记$y\in Y$。
$X$是定义在输入空间$X$上的随机向量，
$Y$是定义在输入空间$y$上的随机变量，
$P(X,Y)$是$X$和$Y$的联合概率分布，训练数据集为
$$T$$ = {$$(x_1,y_1),(x_2,y_2),....,(x_N,y_N)$$}
有$P(X,Y)$独立同分布产生。
朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$,具体地，学习以下先验概率分布及条件概率分布，先验概率分布：
$$P(Y=c_k)k=1,2,3,....,K$$
条件概率分布：
$$\begin{gathered} P(X=x|Y=c_k) \\ =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k) \end{gathered}$$
$$k=1,2,3,...,K$$

于是学习到联合概率分布$P(X,Y)$
条件概率分布：
$$P(X=x|Y=c_k)$$ 有指数级数量的参数，其估计实际是不可行的，事实上，假设$x^{(j)}$可能取值有$S_j$个，$$j=1,2,3...,n$$
Y可能取值有K个，那么总共的参数个数有：
$$K\prod _{j=1}^n{S}_j$$

朴素贝叶斯法对条件概率分布做了条件独立性假设，由于这是一个较强的假设，朴素贝叶斯法也由此得名，具体地，条件独立性假设是：
$$\begin{gathered} P(X=x|Y=c_k) \\ =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k) \\ =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) \end{gathered}$$

朴素贝叶斯法实际上是学习到生成数据的机制，所以属于生成模型，条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的，这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。
朴素贝叶斯份额里时，对给定的输入$x$,通过学习的模型计算后验概率分布，$P(Y=c_k|X=x)$
将后验概率最大的类作为$x$类的输出，后验概率计算根据贝叶斯定理进行：
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
利用条件独立性假设，该式可以转换为：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$

这是朴素贝叶斯算法的基本公式，于是朴素贝叶斯分类器可以表示为：
$$y=f(x)=argma{x}_{c_k}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$

总之、贝叶斯公式的输出都是后验概率分布，
注意到：
在上式子中，分母对所有的$c_k$都是相同的。
所以:
$$y=argma{x}_{c_k}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

后验概率最大化含义

朴素贝叶斯算法将实例分到后验概率最大的类中，这等价于期望风险最小化，假设选择0-1损失函数：
$$L(Y,f(X))=\{\begin{array}{c}1，Y\ne f(X)\\ 0，Y=f(X)\end{array}$$
其中$f(X)$是分类决策函数，这是期望风险函数为：
$$R_{exp}(f)=E[L(Y,f(X))]$$
期望是对联合分布$P(X,Y)$取的，由此取条件期望：
$$R_{exp}(f)=E_x\sum _{k=1}^K[L(c_k,f(X))]P(c_k|X)$$
为了使得期望风险最小化，只需对$X =x $逐个极小化，由此得到：
$$\begin{gathered} f(x)=argmi{n}_{y\in y}\sum _{k=1}^{k}L(c_k,y)P(c_k|X=x) \\ =argmi{n}_{y\in y}\sum _{k=1}^{K}P(y\ne c_k|X=x) \\ =argmi{n}_{y\in y}(1-P(y=c_k|X=x)) \\ =argma{x}_{y\in y}P(y_{c_k}|X=x) \end{gathered}$$
这样一来，根据期望风险最小化准则就得到了后验概率最大化准则。
$$f(x)=argma{x}_{c_k}P(c_k|X=x)$$
即朴素贝叶斯法采用的原理为：
关键思想：根据定理求条件概率最大化全部都将其搞定都行啦的样子

朴素贝叶斯参数估计

极大似然估计

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$.可以应用极大似然估计法去估计相应的概率：
先验概率$P(Y=c_k)$的极大似然估计是：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}k=1,2,3...,K$$
设第$j$个特征，$x^{(j)}$可能取值集合为{$a_{j1},a_{j2},....,a_{j{S}_j}$} 条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是：
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,...,n;l=1,2,....,S_{j}k=1,2,3....,K \end{gathered}$$
$$\begin{gathered} x_i^j第i个样本和第j个特征， \\ {a}_{jl}第j个特征可能取第l个值，I为指示函数 \end{gathered}$$

贝叶斯估计

会自己抽时间把贝叶斯估计也研究以下，全部都将其研究透彻，研究彻底！全部都搞定都行啦的样子与打算。

条件概率公式

$$P(Y|X)=\frac{P(X,Y)}{P(X)}$$

如何求解联合概率分布/

$$P(X,Y)=P(X|Y)\ast P(Y)=P(x_1,x_2,...,x_n|Y)\ast P(Y)$$

变量独立性假设

$$P(x_1,x_2,....,x_n|Y)=\prod _{i=1}^{n}P(x_i|Y)$$

会自己将贝叶斯公式定理，机器运用全部将其搞定，并学会迅速变换。全部都搞彻底！