朴素贝叶斯（待补充贝叶斯网络）

一、条件概率

公式：
$$P(A|B)=\frac{P(AB)}{P(B)}$$
指的是在事件B发生的条件下事件A发生的概率

---

二、全概率公式

目标是求“最后结果”的概率,由条件概率可得$P(AB)=P(A|B)P(B)$
公式：
$$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$
其中$B_1,B_2,...,B_n是样本空间的划分，A为E的一个事件$

---

三、贝叶斯公式

$已知“最后结果”，求“某个事件”的概率，设样本空间为S。A为E的一个事件，B_1,B_2,...,B_n$是S的划分,则公式为：
$$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}=\frac{P(A|B_i)P(B_i)}{P(A)}$$
若B表示类别，A表示特征则公式为：
$$P(类别|特征)=\frac{P(特征|类别)P(类别)}{P(特征)}$$
可解释为在 当前特征下是该类别的概率=$\frac{该类别中存在这一特征的概率\times 该类别的概率}{该特征的概率}$

---

四、朴素贝叶斯 (举例)

在朴素贝叶斯中假定了每一个$x_i$都相互独立。具体地条件独立假设是
$$P(Y=c_k|X=x)=\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$
将该公式带入贝叶斯公式中结果为：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X=x|Y=c_k)}{{\sum }_{i=1}^{k}P(X=x|Y=c_k)}=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_i)}$$
因为对于所有地$c_k$分母都是相同的，所以
$$y=argmaxP(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

  朴素贝叶斯法地学习与分类算法：

输入：训练集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$其中，$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T，x_i^{(j)}是第i个样本的第j个特征，x_i^{(j)}\in \{a_{j1},a_{j2},...,a_{j{S}_j}\}，a_{jl}$是第$j$个特征值可能取的第$l$个值，实例特征向量$x$；
输出：实例$x$所属的类$y$.
（1）计算先验概率及条件概率
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_i)}{N}$$
$$P(X^j=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{ij},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
$$j=1,2,...,n;l=1,2,...,S;k=1,2,...,K$$
（2）对于给定的实例$x=(x^1,x^2,...,x^n{)}^T$，计算
$$P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)，k=1,2,...K$$
（3）确定x的类：
$$y=argmaxP(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

---

五、贝叶斯估计

  由于使用最大似然估计时可能会出现估计概率为0的情况。这样会影响到后验概率的计算结果，为解决这一问题的方法是采用贝叶斯估计。具体的，条件概率的贝叶斯估计是：
$$P_{\lambda }(X^j=a_{j}l|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{ij},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
其中$\lambda \ge 0.$等价于在随机变量各个取值的频数上赋予一个正数$\lambda >0.当\lambda =0时就是极大似然估计。常取\lambda =1，$这是称为拉普拉斯平滑。显然对任何$l=1,2,...,S_j，k=1,2,...,K，有$
$$P_{\lambda }(X^j=a_{j}l|Y=c_k)>0$$
$$\sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1$$
同样的，先验概率的贝叶斯公式为：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_i)+\lambda }{N+K\lambda }$$