从概率论到统计学

我们可能想了解某一地区的人均收入状况，但不可能去调查每个家庭的收入，只能抽取一部分家庭作为样本，获得样本家庭的收入数据，然后用样本平均收入去推测全部家庭的人均收入，当然我们也可能去推断所有家庭收入的方差或者低收入家庭的比重等等。

（1）首先，总体参数可以根据样本统计量来推断

根据样本均值推断总体均值

根据样本方差来推断总体方差

根据样本比例来推断总体比例

（2）但是，通过样本统计量来推断总体参数必然有某种不确定性

但是，样本统计量的值完全依赖于所抽取的样本，其取值是依据样本的变化而变化的，那么依据统计量来推断总体参数必然会具有某种不确定性

（3）那么，如何判断用样本统计量推断总体参数时是否可靠呢

既然样本统计量是一个随机变量，那么它就有一定的概率分布，即样本统计量的概率分布有规律性，具有特定的性质，我们把样本统计量的概率分布称为抽样分布，抽样分布是由样本统计量的所有可能值形成的相对频数分布（由重复抽样产生），例如样本均值的分布，样本比例的分布，样本方差的分布等，抽样分布提供了样本统计量稳定的信息，构成推断总体参数的基础。

由此引出概率论与统计学两大分支：

The basic problem that we study in probability is:
Given a data generating process, what are the properities of the outcomes?
...
The basic problem of statistical inference is the inverse of probability:
Given the outcomes, what can we say about the process that generated the data?

概率论：已知随机变量服从某分布，寻求分布的性质、特点、规律，如数字特征、随机变量的函数分布。

统计学：通过对观测数据的统计分析，寻找所服从的分布和数字特征，从而推断总体的规律性。统计数据分析的目的是通过一部分不确定的观测现象了解一个复杂的，真实世界。数据的不确定性导致了我们获得的关于现象知识的不确定。该理论的一个主要目标是量化这种不确定性。

简单来讲，统计学在科学研究中主要有两个目的，一是描述、分析和归纳观测数据的特征以及变量之间的关系；二是基于观测数据及概率论，对总体的数据、分布及关系作出估计和推断。概率论是统计推断的基础，在给定数据生成过程下观测、研究数据的性质；而统计推断则根据观测的数据，反向思考其数据生成过程。预测、分类、聚类、估计等，都是统计推断的特殊形式，强调对于数据生成过程的研究。

数理统计学就是使用概率论和数学的方法，研究怎样收集（通过试验或观察）带有随机误差的数据，并在设定的模型（称为统计模型）之下，对这种数据进行分析（称为统计分析），以对所研究的问题作出推断（称为统计推断）。

附：陈希孺《概率论与数理统计》

概率论：

第1章 事件的概率
1.1 概率是什么
1.2 古典概率计算
1.3 事件的运算、条件概率与独立性
第2章 随机变量及概率分布
2.1 一维随机变量
2.2 多维随机变量（随机向量）
2.3 条件概率分布与随机变量的独立性
2.4 随机变量的函数的概率分布
第3章 随机变量的数字特征
3.1 数学期望（均值）与中位数
3.2 方差与矩
3.3 协方差与相关系数
3.2 方差与矩
3.3 协方差与相关系数
3.4 大数定理和中心极限定理

数理统计：

第4章 参数估计
4.1 数理统计学的基本概念
4.2 矩估计、极大似然估计和贝叶斯估计
4.3 点估计的优良性准则
4.4 区间估计
第5章 假设检验
5.1 问题提法和基本概念
5.2 重要参数检验
5.3 拟合优度检验
第6章 回归、相关与方差分析
6.1 回归分析的基本概念
6.2 一元线性回归
6.3 多元线性回归
6.4 相关分析
6.5 方差分析