概率论的相关基本概念

此篇博客为对赵悦著的《概率图模型学习理论及其应用》学习笔记。

1.随机变量与概率函数

设X为一随机变量，x是它的一个取值。在样本空间中，所有使X取值为x的原子事件组成一个事件，记作事件“X=x”。事件“X=x”的概率P(X=x)依赖于X的取值x，让x在随机变量X的状态空间上变动，P(X=x)就成为一个取值于[0,1]的函数，称为随机变量X的概率质量函数，记作P(X)。

离散随机变量有概率质量函数与之对应，连续随机变量有概率密度函数与之对应。

2.古典概率与主观概率

古典概率：如果基本事件总数为n，事件X所包含的基本事件个数为r，则事件X的概率P(X)为r/n。

P(X)=r/n

主管概率：又称似然率，是人们对某一事件X发生信任程度大小的主观评价。

P(X)=[对X发生的信用度]

3.联合概率分布

（X,Y）是二维随机变量，对于任意实数x,y,事件｛X<=x｝，｛Y<=y｝同时发生的概率为F(x,y)=P{X=x,Y=y},其为（X,Y）的分布函数，或称为X和Y的联合分布函数。

对于连续型随机变量，如果存在二元非负函数f(x,y),使得二维随机变量（X,Y）的联合分布函数F(x,y)可表示为

则（X,Y）为二维连续型随机变量，f(x,y)为（X,Y）的概率密度，或X与Y的联合概率密度。

4.边缘概率分布

5.条件概率分布

对于二维随机变量（X,Y），随机变量X的条件概率分布，就是在给定Y取某个值的条件下X的概率分布。

P(X=x|Y=y)=P(X=x,Y=y)/P(Y=y)

6.边缘独立与条件独立

边缘独立：设（X,Y）的联合分布为P(X,Y)，边缘分布为P(X)和P(Y)，若P(X,Y)=P(X)*P(Y)，则X与Y相互（边缘）独立。

条件独立：随机变量X、Y、Z，设P(Z=z)>0,对于所有的z，如果P(X,Y,Z)=P(X|Z)P(Y|Z)，则X和Y在给定Z时相互条件独立。

7.贝叶斯定理

设H和E是两个随机变量，H=h为某一假设，E=e为一组证据。在考虑E=e之前，对事件H=h的概率估计P(H=h)称为先验概率，而在考虑证据之后，对H=h的概率估计P(H=h|E=e)称为后验概率。贝叶斯定理描述了先验概率和后验概率之间的关系

P(H=h|E=e)=P(H=h)P(E=e|H=h) / P(E=e)