概率论与数理统计学习笔记三：随机变量的数字特征

1.  数学期望（均值）与中位数

    1）数学期望的定义

        a）取有限个值的离散型随机变量的数学期望

        b）取无穷个值的离散型随机变量的数学期望

        c）连续型随机变量的数学希望

        d）特例：离散（波瓦松分布、负二项分布）；连续（均匀分布；指数分布；正态分布）

        e）数学期望由随机变量的分布完全决定，但在某些问题中，难于决定某些变量的分布如何，但有相当的根据（经验或理论）对期望值提出一些假定甚至有不少的了解；当需要通过观察或试验取得数据已经行估计时，估计随机变量的数字特征要比估计其分布容易且确切

        f）在理论和应用中重要原因：本身含义；具备的良好性质

    2）数学期望的性质：

        a）若干个随机变量值和的期望等于各变量的期望之和：

                离散型、连续型证明：数学归纳法、期望定义、边缘概率

                应用：二项分布的期望；n双鞋随机分成n堆，“恰好成一双”的那种堆的数目的期望）

        b）若干个独立随机变量之积的期望等于各变量的期望之积

        c）随机变量的函数的期望

                离散型、连续型证明：连续型仅证明g为严格上升并可导的情况，随机变量函数的密度函数，反函数

                为计算随机变量X的某一函数g(X)的期望，并不需要先计算g(X)的密度函数，而可以就从X的分布出发

        d）统计三大分布的期望

    3）条件数学期望（条件均值）

        a）条件数学期望的定义

        b）意义：反映了随着X取值x的变化，Y的平均变化情况如何

        c）在统计学上，常把条件期望E(Y|x)作为x的函数，称为Y对X的“回归函数”，“回归分析”即关于回归函数的统计研究

        d）变量Y的（无条件）期望 = Y的无条件期望E(Y|x)对x取加权平均，x的权与变量X在x点的概率密度称比例

        e）一个变量的期望，等于其条件期望的期望（离散、连续）

    4）中位数

        a）定义

        b）和数学期望一样，用于刻画一个随机变量X的平均取值的数学特征

        c）与数学期望相比的优点：受个别特大或特小值的影响很小；总存在

        d）在理论和应用中数学期望重要性超过中位数的原因：均值有很多优良的性质；中位数不唯一且离散型变量中位数不完全符合“中位”含义

2. 方差与钜

    1）方差和标准差

        a）刻画随机变量在其中心附近散布程度的数字特征之一

        b）平均绝对差：刻画随机变量散布度的数字特征之一

        c）方差、标准差定义：设X为随机变量，分布为F，则Var(X) = E((X-EX)*(X-EX))称为X（或分布F）的方差，其平方根称为X（或分布F）的标准差

        d）方差的性质1：常数的方差为0；若C为常数，则Var(X+C)= Var(X)；若C为常数，则Var(CX)= C*C*var(X)

        e）方差的性质2：独立随机变量的方差等于各变量的方差之和

    2）钜

        a）随机变量X关于c（常数）点的k（正整数）阶钜定义

        b）X的k阶原点矩

        c）X的k阶中心距

        d）一阶原点矩为期望；一阶中心距为0；二阶中心距为方差

        e）统计学上，高于4阶的钜极少使用

        f）三阶中心距：

            衡量分布是否有偏：对称为0；大于0为正偏或右偏；小于0为负偏或左偏

            偏度系数 = 三阶中心距/标准差的三次方

        g）四阶中心距：

            衡量分布（密度）在均值附近的陡峭程度如何。越陡峭值越小

            峰度系数：= 四阶中心距/标准差四次方；=四阶中心距/(标准差四次方-3)（使正态分布有峰度系数0）

3. 协方差与相关系数

     1）意义：多维随机变量的数字特征，反应分量之间的关系

     2）协方差（E(X) = m1, E(Y) = m2, Var(X) = a1, Var(Y) = a2）

        a）定义：随机变量X和Y的协方差Cov(X,Y) = E((X-m1)*(Y-m2))

        b）协方差性质1：与X，Y的次序无关；Cov(c1*X+c2, c3*Y+c4) = c1*c3*Cov(X,Y)；Cov(X,Y) = E(X*Y) -m1*m2

        c）协方差性质2：若X,Y独立，则Cov(X,Y) = 0；Cov(X,Y)*Cov(X,Y) <= a1*a1*a2*a2，等号当且仅当X,Y之间有严格线性关系时成立

    3）相关系数

        a）意义：标准尺度下的协方差

        b）定义：X,Y的相关系数Corr(X,Y) = Cov(X,Y) / (a1*a1*a2*a2)

        c）相关系数性质：若X,Y独立，则Corr(X,Y)=0；abs(Corr(X,Y)) <= 1，等号当且仅当X和Y有严格线性关系时成立

        d）不相关和独立间的关系：Corr(X,Y)=0，表示X和Y不相关，X和Y相关不一定独立，但独立一定相关

        e）相关系数也称为线性相关系数。若0<abs(Cov(X,Y))<1，则表示：X,Y之间有一定程度的线性关系而非严格的线性关系

        f）“线性相关”的最小二乘解释

        g）二维正态分布的相关系数特性（2条）

4. 大数定理和中心极限定理

    1）大数定理

        a）一类重要的极限定理，由“频率收敛于概率”引申而来。“大数”指涉及大量数目的观察值

        b）大数定理：利用切比雪夫不等式证明

        c）马尔科夫不等式

        d）切比雪夫不等式

        e）伯努利大数定律

    2）中心极限定理

        a）一类定理：和的分布收敛于正态分布

        b）林德伯格定理（林德伯格-莱维定理）：虽则在一般情况很难求出X1+...+Xn的分布的确切形式，但当n很大时，可通过正态分布求其近似值

        c）利莫夫-拉普拉斯定理：历史上最早的中心极限定理，是林德伯格定理的特列，1716利莫夫讨论了p=1/2的情况，拉普拉斯将其推广

        d）中心极限定理的推广方向：独立不同分布情形；非独立情形；由中心极限定理引起的误差；大偏差问题