自然语言处理之概率图模型--预备知识

概述

本章将介绍一些概率论、图、信息论、马尔可夫等相关基础知识,这些知识点将会贯穿于概率图多个模型的讲解中,在相应模型篇章的开头,也会再次列出这些基础知识。

概率论

联合概率

两个及以上随机变量
image.png

,可以用联合概率分布
image.png
描述其各个状态的概率,简称为联合概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量,联合概率分布可以以列表的形式表示,也可以以函数的形式表示;对于连续型随机变量,联合概率分布通过非负函数的积分表示。

边缘概率

条件概率

先验概率

后验概率

独立性与条件独立性

图相关

信息论

信息量

信息熵

互信息

联合熵

条件熵

交叉熵

KL散度

马尔可夫相关

随机过程

马尔可夫性

马尔可夫链

马尔可夫随机过程

随机场

马尔可夫随机场

其它

产生式模型与判别式模型

最大似然估计

你可能感兴趣的:(自然语言处理之概率图模型--预备知识)