概率质量函数(Probability Mass Function)和期望课程笔记

随机变量的数学定义

从样本空间到实数值的映射函数。

一个样本空间可以定义多个随机变量

一个或几个随机变量的函数构成一个新的随机变量

概率质量函数的定义

pX(x)=P(X=x)=P({ω∈Ω s.t.X(ω)=x})

上面公式的含义为在随机变量X的映射函数下，所有样本空间中的结果在此映射下输出结果为x的概率。

属性如下：

1. pX(x)≥0
2. ∑xpX(x)=1

Bernoulli和指示器随机变量

Bernoulli随机变量定义：

X={1,0,w.p.(with probability) pw.p.(with probability) 1 - p

参数p的取值为： p∈[0,1]

PX(0)=1−p
PX(1)=p

它适合对结果只有成功或失败、正面或背面、等等来进行建模。

指示器随机变量定义：

事件A的指示器随机变量： IA=1当且仅当(iff)A发生

因此： PIA(1)=P(IA=1)=P(A)

指示器随机变量是非常有用的，因为它把对事件的操作转换成了对随机变量的操作。有时，对随机变量计算比对事件更加容易。

离散均匀随机变量

例子如下：

二项随机变量

例子如下：

二项随机变量的PMF图像如下：

几何随机变量

例子如下：

随机变量的期望值/平均值

定义： E[X]=∑xxPX(x)

上面的定义可以解释成大量独立实验的平均值。

注意：如果我们有无穷的求和项，那么我们需要将此式定义明确。所以，我们假设 ∑x|x|PX(x)<∞

Bernoulli和指示器随机变量的期望值

X={1,0,w.p.(with probability) pw.p.(with probability) 1 - p

E[X] = 1 * p + 0 * (1 - p) = p

指示器随机变量的期望值:

E[IA]=P(A)

均匀随机变量的期望值

期望的基本属性

用于计算E[g(X)]的期望值规则

设X为随机变量，令Y = g(X).

则 E[Y]=E[g(X)]=∑xg(x)pX(x)

注意：通常情况下， E[g(X)]≠g(E[X])

期望的线性

E[aX + b] = aE[X] + b.

基于期望值规则的推导：

令g(x) = ax + b.

E[g(x)] = E[ax + b] = ∑x(ax+b)PX(x)=a∑xxPX(x)+b∑xPX(x)=aE[x]+b

在这个例子中，E[g(x)] = g(E[x])。当g(x)是线性函数时，这个等式成立。当其为非线性函数时，通常情况下是不成立的。