【RL数学基础】概率论的基本概念：随机变量、概率密度函数、期望、随机抽样

1.随机变量（Random Variable）

随机变量（Random Variable） 是一个未知的量，它的值取决于一个 随机事件（Random events） 。以抛硬币为例，抛硬币就是一个 随机事件 。正面朝上记为0，反面朝上记为1，因此抛硬币的结果就是一个 随机变量$X$ 。

注意： 通常用大写字母$X$表示随机变量；用小写字母$x$表示随机变量的观测值。例如抛硬币：

• 第1次是正面，则$x_1=0$；
• 第2次是反面，则$x_2=1$；
• 第3次是正面，则$x_3=0$；
• 第4次是正面，则$x_4=0$；

2.概率密度函数（Probability Density Function, PDF）

概率密度函数（PDF）表示了：随机变量 $X$ 在某个确定的点 $x=x_0$ 附近取值的可能性。

理解1： 以高斯分布/正态分布（Gaussian distribution）为例。高斯分布是个连续的概率分布，它的概率密度函数PDF公式为：
$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

其中，随机变量 $X$ 的取值可以是任意实数 $x\in \mathcal{R}$，$\mu$是均值，$\sigma$是标准差 。

高斯分布的图像如下图所示。在高斯分布的概率密度函数PDF图像中，横轴 $x$ 是随机变量 $X$ 的取值，纵轴 $p(x)$ 是随机变量的概率密度，曲线 $p(x)$ 是高斯分布的概率密度函数 $p(x)$。图像说明了：$x$ 在原点（ $x=0$ ）附近取值的概率比较大；在远离原点的地方（ $x=\infty$ ）取值的概率比较小。

理解2： 以离散的概率分布为例，如下图所示。 随机变量 $X$ 的取值只能是离散的值 $X\in \{1,3,7\}$。

离散的概率分布的概率密度函数PDF表示了随机变量 $X$ 在 1、3、7 这三个点取值的可能性（概率）：

• $p(1)=0.2$ 说明：随机变量 $X$ 在 $x=1$ 时取值的概率概率为0.2 （x=1的概率为0.2）；
• $p(3)=0.5$ 说明：随机变量 $X$ 在 $x=3$ 时取值的概率概率为0.5 （x=3的概率为0.2）；
• $p(7)=0.3$ 说明：随机变量 $X$ 在 $x=7$ 时取值的概率概率为0.3 （x=7的概率为0.3）；
• 同时还说明在其他地方的取值为0。

概率密度函数PDF的性质（令随机变量 $X$ 的定义域为 $\mathcal{X}$ ）：

• 对于连续型随机变量 $X$ 的概率密度函数PDF，随机变量 $X$ 积分的值等于1，即：
  $${\int }_{x\in \mathcal{X}}^{}p(x)dx=1$$
• 对于离散型随机变量 $X$的概率密度函数PDF，随机变量的和的值等于1，即：
  $${\sum }_{x\in \mathcal{X}}^{}p(x)=1$$

3.期望（Expectation）

期望的定义（令随机变量 $X$ 的定义域为 $\mathcal{X}$ ）：

• 连续型随机变量 $X$ 的期望：
  $$\mathbb{E}[f(x)]={\int }_{x\in \mathcal{X}}^{}p(x)\cdot f(x)dx$$

• 离散型随机变量 $X$ 的期望：
  $$\mathbb{E}[f(x)]={\sum }_{x\in \mathcal{X}}^{}p(x)\cdot f(x)$$

理解：

$p(x)$ 是随机变量 $X$ 观测值 $x$ 的概率，$f(x)$ 是随机变量 $X$ 观测值 $x$ 出现的次数。以掷色子为例：

$p(x=1)=\frac{1}{6}$，$f(x)=10$ 的含义：其中 $p(x=1)$ 表示色子点数为1出现的概率为$\frac{1}{6}$，$f(x)=10$ 表示色子点数为1出现的次数为10次。

4.随机抽样（Random Sampling）

随机抽样： 按照随机原则，利用随机数，从总体中抽取样本的方法。