贝叶斯网络

​  贝叶斯网络(Bayesian network)，又称为信念网络(Belief network) 。是一种通过有向无环图(Directed acyclic graph, DAG)表示一组随机变量及其条件依赖概率的概率图模型。概率图中，节点表示随机变量，有向边表示随机变量间的依赖关系，条件概率表示依赖关系的强度。没有父节点的节点用先验概率表达信息。两个节点若无连接则表示相互独立的随机变量。贝叶斯网络中的节点可以表示任意问题，丰富的概率表达能力使能较好地处理不确定性信息或问题。贝叶斯网络中所有节点都是可见的，并且节点间的因果关系可以非常直观地观察到。这些特性都使得贝叶斯网络在众多智能系统中有相当重要的应用。

贝叶斯定理

贝叶斯公式:假设$x$为属性，$y$为类别
$$\begin{gathered} p(y|x)=\frac{p(x|y)p(y)}{p(x)} \\ p(y)为先验概率，p(y|x)为后验概率 \\ 从先验概率p(y)求出后验概率p(y|x) \end{gathered}$$

朴素贝叶斯

​  朴素贝叶斯分类模型是一种简单的构造分类器的方法。朴素贝叶斯分类模型是将问题分为特征向量和决策向量两类，并假设问题的特征向量都是相互独立地作用于决策向量的，即问题的特征之间都是互不相关的。尽管有这样过于简单的假设，但朴素贝叶斯分类模型能指数级降低贝叶斯网络构建的复杂性，同时还能较好地处理训练样本的噪声和无关属性。

​  简单来说，朴素贝叶斯分类就是：通过某对象的先验概率利用贝叶斯公式计算其后验概率，即该对象属于某一类概率，选择后验概率最大的。

---

​  假设问题的特征向量为$X=\{x_1,x_2,x_3..x_n\}$,且$x_1,x_2..x_n$相互独立，则$p(x|y)=\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y)$，则贝叶斯公式$p(y|x)=\frac{p(y)p(x|y)}{p(x)}$,可以改成$p(y|x)=\frac{p(y)\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y)}{p(x)}$,先验概率$p(y)$可以通过训练集得出。对于给定$y=Y$，$p(y=Y|x)=\frac{p(y=Y)\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y=Y)}{p(x)}$，又因为对于同一特征向量$X$,比较后验概率大小$p(y=Y|x)$时，贝叶斯公式中分母对其没有影响，因为可以直接比较分子大小，因此省略分母。因此最终找到$p(y)\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y)$最大的类别$y$即可。

​  要计算$p(y=Y|x)$则需要计算$p(y=Y)$和$\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y=Y)$这两部分。对于先验概率$p(y=Y)$可以通过训练集中每类样本所占比例进行估计。对于$\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y=Y)$，对于不同特征属性有不同的方法

• 对于离散型的特征属性$x_i$，可以用类$y$中的属性值等于$x_i$的样本比例来进行估计。

• 对于连续性的特征属性$x_i$，通常先将$x_i$离散化，然后计算属于类$y$的训练样本落在$x_i$对应离散区别的比例估计$p(x_i|Y)$。也可以假设$p(x_i|Y)$的概率分布，如正态分布，然后用训练样本估计其中的参数。

• 而在$p(x_i|Y)=0$的时候，该概率与其他概率相乘的时候会把其它概率覆盖，因此需要引入Laplace修正。做法是对所有类别下的划分计数都加一，从而避免了等于零的情况出现，并且在训练集较大时，修正对先验的影响也会降低到可以忽略不计

​  其实$p(y=Y)$和$\underset{i=1}{\stackrel{n}{\Pi }}p(x_i|y=Y)$这两部分都是通过训练集数据得到的，我们在分类应用时，只是代入一下。