概率论 方差公式_概率论学习笔记(6)

封面图：今日份シェバォウ

习题答案，这次的计算题很多，不过并不特别简单~

1.考虑针的中点与最近的一条边缘线的距离

与针与中点向这条边缘线所引垂线引夹的锐角

。则

相互独立且服从均匀分布。针与边缘线相交等价于

。记

，故可以列出所求概率为

。计算得

。

历史上这是一个极负盛名的问题。关于

情况，有一般形式的结论：如果投的是简单闭凸曲线

，其直径

，周长为

，则曲线

与边缘线相交的概率为

。这可以靠用凸

边形近似来解决，请大家尝试。

2.这是一个函数方程问题：

，其中的函数均可导。先对

求导得到：

。两式相除得

。我们证明

是常数。对任意

，取

使

。则

。从而上面所述成立，即

。这是一个微分方程，解得

。进一步，由于

，

必为负数。设

，代入计算就得到

。从而

服从正态分布。同理

。由联合分布是

的函数知

。得证。

3.利用Example 7的结果得到：

。这样就有

。从而

。方差类似计算：

。

4.只须证明

的情况。先直接计算证明

，

的情况，然后对于一般的

的情况，有

。

注意

，

，故得

。这样就得到结果。

5.利用二项分布的正态近似以及上一题刚刚证明的结果。

6.给定

时

的条件分布为

。结合

分布的密度函数

，得到

的联合密度

。

从而

的密度函数(具体计算这里就省了)

。

7.首先证明

的联合密度函数为

可以延续证明6的伎俩，也可以对7积分。然后知道

内层积分作换元

就可以积出来。计算出结果后对

求导得到密度函数：

。

8. 我们有

即

。上式取对数以后求导就得到所要的。

9.使用公式

。已知条件告诉我们：

。关键问题是要求出

。而这需要证明

。用积分的定义可以证明，请大家尝试。最后答案是给定

的情况下

服从参数为

的Gamma分布。

(这可以引出「连续的全概率公式」)

10.直接算就对了。

，而

。

---

第七章 期望的性质

前面介绍的的许多有关随机变量的知识都偏向于应用和计算，不过，接下来的两个章节就会有比较硬核的理论出现。这一章主要是继续研究期望及其衍生概念的更多理论(内容有点杂)，而下一章就会进入概率论的核心定理。

• 期望的一般定义

前面讨论了离散型与连续型随机变量的期望，但是随机变量并不是只有这两种类型。比如，令

为参数为

的Bernoulli随机变量，而

为

上的均匀随机变量，令随机变量

：

。则它不是上述两种类型的随机变量。为了定义一般随机变量的期望，我们需要引入

Stieltjes积分的概念。

对两个实值有界函数

与区间

，设

递增。与Riemann积分一样，考虑分点集：

。定义

，以及

。任取

。如果极限

存在，就称它为函数

在区间

上的

Stieltjes积分，记作

。对于非负函数

，直接定义

就好了。如果不是非负函数，设

为其正部和负部，定义：

。

关于Stieltjes积分的更多内容可以看陶哲轩实分析，或者只是要粗略了解的话看这里。这里只是提名一个性质：若

是可微函数，则

。

排除万难，我们终于可以给出期望的定义：设随机变量

的分布函数为

，则

。

这个式子在

为离散型或连续型随机变量时又回到我们熟悉的形式。

通过

的Stieltjes和：

可以看到，期望的本质依然没有变，还是随机变量按照概率的加权平均。

方差可以定义为

。请大家证明：

。(需要应用Stieltjes积分的换元法)

另外我们有下面的简单命题。

若随机变量

满足

，则

。

由条件知

。故

。得证。

由于我们很少讨论非离散型也非连续型的随机变量，所以很多时候我们依然在原来的两种框架下论述。

• 随机变量多元函数的期望及其应用

1.设随机变量

联合连续，具有联合密度

。则对于任意

元函数

有

请大家自行写出离散的版本。

证明与之前类似，我们有

上式第一项可以这样处理：

同理计算第二项，然后得到结果。

容易得到下面的推论，这会在后面讨论协方差时起到作用。

2.如果

相互独立，则

。

有了这个定理，就可以证明一个之前没有填上的坑：随机变量和的期望。

3.对于连续型随机变量

，若它们联合连续，则

。

由1：

得证。

下面我们解决一些问题。

Example 1 平面上的随机游动：一个动点最初位于原点，且每次移动一个单位长度，移动方向与

轴的夹角是

的均匀分布。求

次移动以后动点与原点距离平方的期望。

设

为第

次移动的向量，则可以设

。

服从均匀分布。设距离为

，则

由于

，故

。

叙述下面的例子之前要先建立一个引理。

引理：若随机变量

满足对于任意

有

，则记

。若

，则

。类似有关于

的结论。

如果

，那么

。从而

，由2得到

。

Example 2 用期望方法证明有限的Bool不等式。

考虑事件

的示性变量

，以及

的示性变量

。令

。由上面的定义可知：

。两边取期望得

。

Example 3 快速排序算法：有互不相同的

个数，现在需要把它们排成升序。随机抽取一个数，把大于它，小于它的数各放在一个集合里。然后再在这些集合里随机取数，重复过程直到所有数都排好。算法的基本操作是比较两个数的大小。计算这个算法需要比较大小的次数

的期望。

设这些数是

。定义一组随机变量

：

若

有被比较过，则

；否则

。故

，即

。下面计算

比较过的概率。

随机选一个比较数。设事件

表示

比较过；事件

表示选中

之一。注意到若没选中

之一，则不会影响

是否被比较。故

。但是

独立等价于

独立，故

。从而

。当

很大时有近似表达式

。

下面这个问题是概率论用于组合学问题的例子。

Example 4 一个有向完全图叫做竞赛图。在具有

个点的竞赛图中给点编号

。一个排列

称为

Hamilton路径，如果

向

连了一条有向边。证明：对所有竞赛图，长度为

的Hamilton路径个数的最大值不小于

。

设竞赛图

长度为

的Hamilton路径个数为

。要证明

。考虑随机选择一个竞赛图，计算出期望

。对

元排列

，随机变量

表示事件「

是Hamilton路径」的示性变量。从而

，亦即

模型中每一个点等可能的选择其中一条边是出还是入。

是Hamilton路径等价于选定了边

的方向，从而

，故

。由于

，命题得证。

最后我们提一下无穷多个随机变量的和。随机变量级数

可以看成一个函数项级数，只不过是样本空间上的函数。自然会想到

，但是这并不一定成立。关键是，期望与极限交换

是否成立？在下面的特殊情况之一下是成立的，这里不给证明了。

(1)

都是非负随机变量。

(2)级数

收敛。

• 试验序列中随机变量的矩

之前我们讨论过一些随机变量的

阶矩。下面考虑不同试验里的事件序列

，用

表示事件的发生次数。下面我们试图找到求出

的好方法。

首先我们不直接考虑

，而考虑

。令

表示事件

的示性变量。由于

表示

元事件组的个数，其中每一个事件都发生，则有

从而

。怎么求

?根据整值多项式的理论，一定有数

使得

成立，其中

。分别代入

求出各个系数就行了。这些系数都是整数，计算的时候并不会有特别的困难。

Example 5 求超几何随机变量

的

，并求

。

设

表示第

个拿出来的球是白球的事件，则

而

，故得到

• 协方差与相关系数

两个随机变量

的

协方差定义为

。从中可以看到协这个字的含义。下面要证明一些关于协方差的性质。

4.

。

证明很简单，直接展开。由此结合3可以得到推论：若

对称，则

。但是反过来却不成立。

5.协方差的线性性：

。

这是因为

注意到

，由协方差的线性性有

6.

。

如果

相互独立，上式简化为

。

Example 6 有

个人，每个人对某一问题有一个态度，用实数

表示第

个人支持某件事的程度，叫做支持态度。统计工作者在其中随机选出

个人，并询问它们的态度。用

表示这些人的支持态度之和。求

的期望与方差。

设

表示事件「第

个人被选出来」的示性变量。则有：

。从而：

。(其中

)

下面求方差。由于

，故

。从而

注意，括号里的部分正是数据

的方差。

下面讨论相关系数。两个随机变量

的

相关系数定义为

有时候也记作

。

7.

。

这是因为：由7得

。

这个问题的证明也可以借助Cauchy-Schwarz不等式完成：

。从而：

在第八章中将证明

可得出

为常数的概率是1。从而当上式等号成立时可以看成

是线性关系。这样的话，相关系数就可以度量两个随机变量的线性相关程度。如果

，称随机变量

不相关。除此之外可以定义 正相关和 负相关。

Example 7 证明

。

事实上：

所以命题成立。

• 条件期望

之前定义了条件分布，自然我们可以讨论条件期望与条件方差的概念。

如果

是离散型随机变量，定义

在给定

下的

条件期望为

。

如果

是联合连续的，定义条件期望为

。

如果是一般情况下，这个式子是

。

定义

为

的函数，其在

时的值为

。容易证明条件期望依然满足期望的基本性质。

条件期望定义出来的目的许多时候是为了更好地计算期望。下面的定理足以达到这个目的：

8.(全期望公式)

。

如果是离散型随机变量，这个式子等价于

，而连续型的情况是

。下面我们就连续型的情况证明一下。

由条件期望的定义：

。故

得证。

其实，这个定理就和全概率公式差不多。

还有推广定理：

。证明留给大家。

有时候我们会考虑某个事件发生条件下的期望。设事件

的示性变量为

，则定义

。可以证明

9.

。

这是因为

Example 8 证明：在二元正态分布中，

的相关系数恰好是

。(参见上一章Example 3与Example 11)

之前我们证明了

各自服从正态分布，参数分别为

。所以：

。

下面计算

。给定

时已经计算过

的条件分布，是参数为

的正态分布。从而

，也就是：

。从而由8得

故代入得

。得证。

Example 9 求几何分布的方差。

这里用条件期望来做。设

为所说的几何随机变量。设

表示第一次试验成功的示性变量。则

。而

，因为第一次成功以后试验已经结束；

，因为相当于重新开始，而次数多了一次。故

解得

。故

。

利用条件期望还可以计算概率。令

为事件

的示性变量，则

。而对任何随机变量

，有

，故可以得到计算

的方法：

若

是离散型的，则

；若是连续型的，则

。

第一个就是全概率公式。下面看一个例子。

Example 10 设

服从

上的均匀分布，在给定

条件下，随机变量

服从参数为

的二项分布。求

的分布列。

其中

。

这个变量有一个比较直观的解释。令

服从

上的均匀分布，

可以表示

中小于

的变量的个数。

条件方差定义为

。与一般的方差同样的：

10.

。

证明只需直接拆开。

条件方差也可以用来计算方差，这就是下面的

11.(条件方差公式)

。

原因是，由10和全期望公式有

两式相加得到

。

Example 11 设

为独立同分布的随机变量，期望和方差都已知。

为非负整数值随机变量，且与

独立。求

的期望与方差。

设

。我们有

其中用到独立性。故由全期望公式

。

由条件方差公式：

条件期望还有一个用处就是建立最佳预测。实践中经常遇到这样的问题：需要通过已知的随机变量

预测随机变量

。我们定义预测

是最优的当且仅当

取到最小值。为了探求这个最小值，我们考虑下面的说法。

对任何两个随机变量

定义它们的内积为

。则内积定义符合三条性质。这样定义随机变量的范数为

。两个随机变量

的距离为

。上面的问题变为求

使得

与

的距离最小。

事实上，我们可以证明

引理：

。

这是因为

其中最后一个等号利用了全期望公式，而倒数第二个是因为对任意

：

。

引理意味着

总是与

正交。想象一下，过一个点作平面的垂线，就是这样子的。所以距离最短应该是

。也就是：

12.对任意

，

。

这是因为

最后一项期望是零，刚刚证明过了。(注意

是

的函数)所以命题成立。

当

服从二元正态分布时，最佳预测就是最佳线性预测，这是许多问题要做线性回归的原因。(请大家计算一般随机变量的最佳线性预测)

• 矩母函数

矩母函数是研究随机变量的强大工具。它的定义是：

。

当

是离散型随机变量时，上式变为

；当

是连续型随机变量时，上式变为

。为什么叫做矩母函数，马上就会看到。

对于需要处理的绝大部分随机变量，微分或积分运算与期望运算都可以交换。一般情况需要Stieltjes积分的相关性质，就不证明了。下面将应用它们。

对矩母函数求

阶导数得到：

。然后令

，我们就得到求

阶矩的另一种方法：

13.

。

这个结果也可以这样证明：

，然后逐项求导。

因为可以用它来计算

阶矩，所以叫矩母函数。

在实际运用中需要各种分布的矩母函数。推导都不困难，所以这里只是列出结果。

参数为

的二项分布的矩母函数：

。 参数为

的Poisson分布的矩母函数：

。 参数为

的负二项分布的矩母函数：

。

上的均匀分布的矩母函数：

。 参数为

的指数分布的矩母函数：

。 参数为

的Gamma分布的矩母函数：

。 参数为

的正态分布的矩母函数：

。

矩母函数有一个强大的性质，那就是：独立随机变量和的矩母函数是各自矩母函数的乘积。

14.

是独立的随机变量，

为

对应的矩母函数，

为

对应的矩母函数。则成立：

。

证明不难， 由独立随机变量的性质(即2)：

。

我们再给出一个关于矩母函数的性质。

15.若

在

附近有定义且有限，则由

可以唯一确定

的分布。

这个结果的证明需要所谓反转公式，本质是一个Laplace逆变换。具体证明就不在此给出。由这个性质可以得到，如果矩母函数符合某种分布的形式，则这个随机变量必定服从此种分布。

Example 12 用矩母函数证明：设

是独立的正态随机变量，参数分别为

。则

服从参数为

的正态分布。

这个问题使用矩母函数瞬间变得简单起来。我们有：

。从而

服从参数为

的正态分布。

Example 13 用矩母函数解决Example 10。

在

条件下，

的矩母函数为

。故

由于这个矩母函数符合离散均匀分布，故

。

下面我们转向联合矩母函数。随机变量

的联合矩母函数定义为

。

首先有

16.若联合矩母函数

在原点附近有定义且有限，则这个函数唯一确定随机变量

的联合分布。

这个定理证明比较困难，所以不证了。

17.随机变量

独立等价于

。

利用上一个性质提供的矩母函数与分布函数的对应关系可以得到证明。

于是，判断一组随机变量是否独立可以依靠计算矩母函数来完成。

Example 14 设

为独立同分布的正态随机变量。证明

独立。

的联合矩母函数是

而

，

，

故

，从而独立。

矩母函数的一个巨大的应用将会在下一章提到：证明中心极限定理。(要 来 了)

---

习题

1.用期望方法证明容斥原理。

2.证明对任何随机变量

，有

。

3.对任何两个随机变量

，称

随机地大于

，如果对任意

成立

。证明：

随机地大于

的充要条件是对一切不减函数

有

。

4.设

服从二元正态分布，且具有参数：

。求概率

。

5.假设有

个玩家在赌博，玩家

最初有

元赌资。每次任选两个玩家玩一局，赢的人从输的人那里拿走一元。游戏持续直到一个人赢走所有赌资。求赌局进行次数的期望。

6.证明Cauchy-Schwarz不等式。

7.设对任意时间

，在时间区间

到达火车站的人数是参数为

的Poisson随机变量。设火车到达时间是

上的均匀随机变量，且与旅客到达时间独立，求上车的旅客数的期望和方差。

8.假设在A处发送一个强度为

的信息，在B处会接收到一个强度为

的信息，它是参数为

的正态随机变量。假设发射端信号强度

。已知

，求

的最佳预测。

9.设

的联合矩母函数为

。用它表示

。

10.设

个人把他们的帽子混在一起，然后每个人随机拿一顶帽子。设

表示拿到自己帽子的人数。求

。(可以用和式表示)

11.对于给定的随机变量

，随机变量

的

条件协方差定义为：

。证明条件协方差公式

。

12*.设

不全为零，

。证明，存在

的排列

使得

，其中

。