《程序员的数学》第二册 （概率统计）

《程序员的数学》第二册 （概率统计）

概率的定义

概率的数学定义

三扇门(蒙提霍尔问题)一一飞艇视角

蒙提霍尔问题

正确答案与常见错误

以飞艇视角表述

三元组( 0 ,F, P )一一上帝视角

随机变量

1.3节已 经构建了舞台 。 接下来，我们讨论一下如何在这一舞台上表现随机量，并整理 之前出现过却还没有详细讲解的内容 。
这种随机量称为随机变量 。 通俗来讲，它是一种会随机改变的不确定量 。 不过，如图1.6
所示，我们现在处于上帝视角 。 该视角下，我们可以俯瞰由"所有平行世界"组成的集合。 。其中每个世界 ω 中的事件都己确定，只是根据剧本表演而已 。

概率分布

适于实际使用的简记方式

通过方程式表述概率对格式的要求较高，如果读者不习惯这种写法，在书写时或许会 有些困难 。 因此，我们经常会使用一些便于书写的简记 。 本节将介绍一些常用的简记方式 。 熟悉之后，阅读简记也并非难事，不过对初学者来说，这些简记可能会引起混乱 。 因此，如果读者在阅读时感到有些困惑，即使老师也使用简记表述概率，也请先改用原本的表示方 法以避免误解 。

多个随机变量之间的关系

对于现代的概率统计来说，分析多个随机变量之间的相互关系是一个关键 。 “包含‘免费’ 这一单词的 邮件很可能是广告”"在星期五购买一次性纸尿布的顾客很可能也会买啤酒"这类 观点是否很耳熟?为了讨论这类问题，我们必须分析多个随机变量之间的相互关系 。

幸运的是，我 们已经有了上帝视角这一强有力的工具 。请读者充分利用上帝视角，自信地处理 "随机变量之间的相互关系 "。 我们的目标是首先要理解联合概率、边缘概率与条件概率这 三个概念 。它们是讨论随机变量之间关系的基本道具 。 最近活跃于各领域的贝叶斯 公式也是这组概念的-种应用 。 此外 ，独立性的定义也基于这组概念 。在日常的概率问题中 ，我们在使用独立性时无需特地声明，不过由于本书的要求更高 ，因此必须明确定义独立性的含义 。在分析随机变量之间的关系时，某一变量是否独立往往是解决问题的关键 。
不过，为避免引人一些无关的复杂情况，本章将不涉及连续的随机变量(第4章将对此作具体说明)。

面积计算的预热

如果直接分析随机变量的相互关系，我们很可能找不到头绪 。 因此，我们将采用与上 一章同样的策略，将概率问题转换为面积问题。 经过这种转换后 ， 我们需要做的就仅仅是 单纯的数学计算。 让我们暂时放下概率问题， 先考虑这些容易理解的数学计算吧。 本节讲 解的只是一些简单的算术题，读者只需快速通读即可。 从2.2节起，我们将从概率问题的角 度重新解释这些问题 。

联合概率与边缘概率

条件概率

贝叶斯公式

本节将应用条件概率来解决逆问题 。 简单来讲，逆问题是指那些需要从结果反推原因 的问题1。 通常，原因 X无法被直接观察、测量，此时，我们常会通过其结果 Y来反推原因 X。
很多工程问题都可以通过这种方式解释 2。

独立性

本章将继续讨论多个随机变量之间的关系 。 2，3节的条件概率可以理解为在得知 X 后， 对 Y 的出现概率的预测 。 2.4节介绍的贝叶斯公式是相应的逆运算，它将根据 X → Y 的情况 (与 X 的先验概率分布)，由 Y逆推 X 的值。
现在，我们 重新开始讨论更为根本的 问题 。 如果问题中存在多个随机变量，我们首先 会怀疑这些随机变量之间是否真的存在关联。 这一独立性的概念是很多应用问题中的关键。

·如果 X 与 Y无关，由 X椎 Y就没有意义。 此时 ， Y与独立的 X 没有特别的含义。

离散值的概率分布

我们首先来讨论概率论的基本问题，此时随机变量的可取值种类可数(即附录 A.3.2介 绍的至多可数的情况)。 本章将重点讲解期望值 、 方差与大数定律 。 在正式介绍这些内容前， 我们需要先大致了解二项分布这种基本分布 。
简单来讲，对于取值不定的随机值，将其可能的平均取值称为期望值，值的分散情况 称为方差 。 大数定律表明"大量随机值的平均值趋于期望值"，是处理随机数据的基本定理 。 二项分布则常见于 "20例中15例得到了改善"之类的问题。

一些简单的例子

二项分布

特殊的概率分布通常会以专门的名称表示。其中，二项分布是一种基本的类型 。 本书 第 6章将反复用到这种分布 。

期望值

方差与标准差

3.3节引入了期望值的概念，它是用于描述分布性质的最重要的指标 。 现在，我们继续引人第二类指标一一 方差与标准差 。














可以看到，随机变量的数量越多，它们的平均值就越趋于稳定，在分析处理随机变量时， 这是一条非常重要的性质 。 读者在日常生活中或许也会意识到这种性质 。 本节将通过概率 的方式来验证这一性质 。

大数定律

人们在研究与实践中发现，尽管每个随机变 量 取值随机，大量随机变 量 的平均值却相 对恒定 。 现在让我们通过计算机来模拟这种现象 。 下面是一个通过 Ruby语言实现的例子1 。

补充内容:条件期望与最小二乘法

连续值的概率分布

协方差矩阵、多元正态分布与椭圆

估计与检验

伪随机数

概率论的各类应用