机器学习进阶-贝叶斯网络

相对熵:又称互熵,交叉熵,鉴别信息

机器学习进阶-贝叶斯网络_第1张图片

 互信息:

机器学习进阶-贝叶斯网络_第2张图片

 信息增益

机器学习进阶-贝叶斯网络_第3张图片

 概率公式

机器学习进阶-贝叶斯网络_第4张图片

朴素贝叶斯假设

一个特征出现的概率与其他特征独立,每个特征同等重要

高斯朴素贝叶斯

 

 贝叶斯网络

把某个研究系统中设计的随机变量,根据是否条件独立绘制在一个有向图中,就形成了贝叶斯网络。

贝叶斯网络又称有向无环图模型DAG,是一种概率图模型,根据概率图的拓扑结构,考察一组随机变量及其n组条件概率分布的性质。

概率图模型  条件随机场CRF

贝叶斯网络的有向无环图中的节点表示随机变量,他们可以是可观察到的变量或隐变量、未知参数等,连接两个节点的箭头代表此两个随机变量是具有因果关系。若两个节点间以一个单箭头连接在一起,表示其中一个节点是因另一个是果,两节点就会产生一个条件概率值

每个节点在给定其直接前驱时,条件独立于其非后继。

全连接贝叶斯网络:每一对节点之间都有边连接  5个节点有10条边

特殊的贝叶斯网络 结点形成一条链式网络乘坐马尔可夫模型

你可能感兴趣的:(机器学习,机器学习,网络,人工智能)