1.数学期望（均值）

1.1 期望的定义

离散型随机变量

假设离散型随机变量的分布律为：。若级数收敛，则称为随机变量的数学期望。记为。

离散型随机变量函数

假设离散型随机变量的分布律为：。若绝对收敛，则有

连续型随机变量

假设连续型随机变量的密度函数为：。若积分绝对收敛，则为随机变量的数学期望。记为。

连续型随机变量的函数

假设连续型随机变量的密度函数为：。若积分绝对收敛，则：

其实可以理解为：随机变量的数学期望是随机变量函数的数学期望的特例，此时。

1.2 期望的性质

若为常数，则有
设随机变量的期望为，则有。
设是两个随机变量，则有
设是两个相互独立的随机变量，则

证明的方法：无脑带入公式即可。

1.3 条件期望

1.3.1 条件期望的定义

与条件分布的定义类似，条件期望就是它在给定某种附加条件下的期望，可记为，若只有一个随机变量，则可记为。

若知道了随机变量的联合概率密度，则可以定义为：先给定之下，的条件密度函数，由期望的定义：

1.3.2 条件期望的意义

条件期望反映了随着取值的变化，的平均变化情况如何。在统计学上，常把条件期望作为的函数称为对的“回归函数”。

结合全概率公式的意义可知：变量的期望，应该等于其条件期望对取加权平均，即：

式(1.5)的证明如下：记，，则按照定义：

在公式(1.6)中，的值可以写成：

$\begin{align} \int_ {-\infty}^{\infty} yf(x, y)dy =& \int_ {-\infty}^{\infty} yf(y|x)·f(x)dy \\\\ =& \int_ {-\infty}^{\infty} yf(y |x)·f(x)dy\\\\ =& f(x)·\int_ {-\infty}^{\infty} yf(y |x)dy\\\\ =& f(x)E(Y|x)\\\\ =&E(Y|x)\int_ {-\infty}^{\infty} f(x,y) dy \tag{1.7} \end{align}$
综上，，公式(1.5)得证。

它可理解为一个“分两步走”去计算期望的方法，因为在不少情况下，迳直计算较难，而在限定某变量之值后，计算条件期望则较容易.因此我们分两步走：第一步算出，再借助的概率分布，通过算出。更直观一些，你可以把求看成为在一个很大的范围求平均.限定之值从这个很大的范围内界定了一个较小的部分。先对这较小的部分求平均，然后再对后者求平均。

比如要求全校学生的平均身高，你可以先求出每个班的学生的平均身高，然后再对各班的平均值求一次平均.自然，在作后一平均时，要考虑到各班人数的不同，是以各班人数为权的加权平均。

2. 方差（“差”的平方）

2.1 方差的意义

表示随机变量与期望的偏离程度，方差越小，偏离程度越小，数据越稳定。

2.2 方差的定义

设是一个随机变量，若存在，则，通俗的说，就是随机变量的函数的期望。
那么带入有公式(1.1)和公式(1.2)可知，方差有

展开得：
$\begin{align} E(Y)=E(g(X))=&\int_{-\infty}^{\infty}[X-E(X)]^2f(x)\\ =&\int_{-\infty}^{\infty}[X^2-2XE(X)+E(X)^2]f(x)\\ =&\int_{-\infty}^{\infty}[X^2f(x)-2XE(X)f(x)+E(X)^2f(x)]\\ =&\int_{-\infty}^{\infty}X^2f(x)-E(X) \int_{-\infty}^{\infty}2Xf(x)+E(X)^2\int_{-\infty}^{\infty}f(x)\\ =&E(X^2)-E(X)^2 \tag{2.3} \end{align}$

2.3 方差的性质

若为常数，则有
设随机变量的期望为，若为常数，则有。
设随机变量的期望为，若为常数，则有。
设是两个随机变量，则有
设是两个相互独立的随机变量，则
的充分必要条件是以概率1取常数，

3. 协方差

3.1 协方差的意义

"协"是取“协同”之意，，。

3.2 协方差的定义

协方差：
相关系数：

3.3 协方差的性质

3.4 相关系数的性质

越接近1，则相关性越好；越接近0，相关性越差。
当时，则可以解释为：之间有“一定程度”的线性关系，而非严格的线性关系。
在图3-1中，之间存在一种“线性趋势”，这种趋势在(a)中是正向的，显著大于0。在(b)中趋势比(a)中的趋势更为明显，但是；至于(c)，虽然仍大于0，但接近于

图3-1

4. 矩、协方差矩阵

矩的定义：设为随机变量，为常数，为正整数，则量称为关于的阶矩。那么，当时，就称为“原点矩”，当时，就称为中心矩。

设和是随机变量：若，则称为的阶原点矩。

设和是随机变量：若，则称为的阶中心矩。

设和是随机变量：若，则称为的阶混合中心矩。
三阶中心矩和一阶原点矩的关系：
三阶中心矩可以衡量分布是否有偏。若关于点对称，则有，那么的期望比为。若，则分布正偏或者右偏；若，则分布负偏或者左偏。

一般的，方差为二阶中心矩，则可以将“偏度系数”定义为：
峰度系数：衡量分布（密度）在均值附近的陡峭程度。

在峰度中，在除以之后已经失去了因次，与的单位无关。因此，若要比较两个变量的峰度，需要将方差调整至1后进行比较。

5. 三大分布

5.1 两个神奇的函数

1. 函数

对做分部积分，有
为正整数：
- 为奇数：
- 为偶数：

Gamma函数实例

2. 函数

5.2 分布

定义

设服从标准正态分布，则称统计量

服从自由度为的分布，记为。

性质

设, ，并且相互独立，则有

5.3 分布

定义

设服从标准正态分布，服从则称统计量

服从自由度为的分布，记为。

5.4 分布

定义

设服从，服从则称统计量

服从自由度为的分布，记为。

6. 各种常见分布及其数字特征：

1.jpg

2.jpg

3.jpg

(概率论基础4)随机变量的数字特征