机器学习（15）——贝叶斯网络

前言：

当多个特征属性之间存在着某种相关关系的时候，使用朴素贝叶斯算法就没法解 决这类问题，那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。在贝叶斯网络的应用中，隐马可夫模型最常用。

一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，可以是可观察到的 变量，或隐变量，未知参数等等。连接两个节点之间的箭头代表两个随机变量之 间的因果关系(也就是这两个随机变量之间非条件独立)，如果两个节点间以一个 单箭头连接在一起，表示其中一个节点是“因”，另外一个是“果”，从而两节 点之间就会产生一个条件概率值。 注意：每个节点在给定其直接前驱的时候，条件独立于其后继。

简单贝叶斯网络

贝叶斯网络的关键方法是图模型，构建一个图模型我们需要把具有因果联系的各 个变量用箭头连在一起。贝叶斯网络的有向无环图中的节点表示随机变量。连接 两个节点的箭头代表此两个随机变量是具有因果关系的。

贝叶斯网络是模拟人的认知思维推理模式的，用一组条件概率以及有向无环图对 不确定性因果推理关系建模

如下图所示只是简单的表示

image.png

上图贝叶斯网络用公式表示为：

也有全连接贝叶斯，如下图所示：

image.png

和正常贝叶斯网络。

叶斯网络判定独立条件

1）在C给定的条件下，a和b被阻断(blocked)是独立的。

条件独立：tail - to -tail。如下图所示：

以上可以表示为：

2）在C给定的条件下，a和b被阻断(blocked)是独立的。

条件独立：head- to -tail

image.png

公式同上

2）在 C未知的情况下，a和b被阻断(blocked)，是独立的

条件独立：head - to - head

image.png

公式如下：

贝叶斯小结

朴素贝叶斯的主要优点有：
1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。
3）对缺失数据不太敏感，算法也比较简单，常用于文本分类。
朴素贝叶斯的主要缺点有：　　　
1） 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。