【数理统计】学习笔记01：数理统计的基本概念

一、统计的基本概念

1.1 总体

• 总体的概念：
  • 总体： 研究对象的全体。
  • 个体： 总体中的每一个研究个体。
  • 总体容量： 总体中包含的个体数。
  • 有限总体： 容量有限。
  • 无限总体： 容量无限，通常将容量很大的总体按无限总体处理。
• 处理概率问题时，随机变量X的分布都是已知的。
• 但是在统计中，总体X的分布要么未知，要么分布形式已知但参数未知，需要抽取部分个体来推断。

例1： 某高校针对学生对教学管理是否满意,在全体学生中展开调查，全体学生是总体，是有限总体，只关心“对教学管理满意或不满意”这个指标值，通常赋值$(0,1)$。

例2： 某药厂研究某种药物在人体中的吸收情况，总体是全体国民，只关心国民服药的吸收量值，是有限总体，但容量很大,按无限总体处理。

例3： 考察渤海水质有机磷污染情况，渤海海水是总体，只关心其中的有机磷含量值，是无限总体。总体是随机变量，一般地，可以认为：总体 $\iff X$。

1.2 简单随机样本

（$X_1,X_2,\cdots ,X_n$ 独立同分布）

• 概念： 在总体 $X$ 所有观察值中抽取部分观察值 $(x_1,x_2,\cdots ,x_n)$，这n个观察值是随机的，称 $(X_1,X_2,\cdots ,X_n)$ 为容量为n的一个随机样本。n为样本容量。
• 特性：
  1. 代表性： $X_i$ 与总体 $X$ 同分布。（保证总体中每个值都有同样的机会被抽到）
  2. 独立性： 每次抽取独立进行，各样本值互不影响。简称样本。

例1: 给一个理想化总体，抽取(放回)样本来推断总体，观察推断效果某棵树每年产果10个，1等果3个每个价格8元，2等果4个每个价格6元，3等果2个每个价格2元，次果1个每个价格0元，考察果子收益情况，每次抽取两个果，如何抽才能得到简单随机样本?列出所有简单随机抽样样本值，并列出下列指标值：

---

总体： 树上的果子。
总体容量： 10。
总体分布：

0	2	6	8
$\frac{1}{10}$	$\frac{2}{10}$	$\frac{4}{10}$	$\frac{3}{10}$

期望： $E(X)=\frac{4}{10}+\frac{24}{10}+\frac{24}{10}=5.2$
方差： $D(X)=\frac{1}{10}(0-5.2{)}^2+\frac{2}{10}(2-5.2{)}^2+\frac{4}{10}(6-5.2{)}^2+\frac{3}{10}(8-5.2{)}^2=7.36$
简单随机样本：
每次抽样得到观察值 $(x_1,x_2)$，$x_1$ 是随机变量 $X_1$的一个随机取值，$x_2$ 是随机变量 $X_2$的一个随机取值，$X_1$与$X_2$相互独立并与总体$X$同分布，$(X_1,X_2)$ 构成二维随机变量。
样本值：

1.3 样本 $(X_1,X_2,\cdots ,X_n)$ 的联合分布

• 离散型：
  • 总体 $X$ 的分布列 $P(X=x_i)=p_i,i=1,2,\cdots$
  • 样本 $(X_1,X_2,\cdots ,X_n)$ 的联合分布列：
    $$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)=\prod _{i=1}^{n}P(X=x_i)$$
• 连续型：
  • 总体 $X$ 的分布密度 $f(x)$
  • 样本 $(X_1,X_2,\cdots ,X_n)$ 的联合密度：
    $$f(x_1,x_2,\cdots ,x_n)=f(x_1)f(x_2)\cdots f(x_n)$$
• 总体 $X$ 的分布函数 $F(x)$
  • 样本 $(X_1,X_2,\cdots ,X_n)$ 的分布函数：
    $$F(x_1,x_2,\cdots ,x_n)=F(x_1)F(x_2)\cdots F(x_n)$$

例1： $X\sim B(0,1),P(X=k)=p^k(1-p{)}^{1-k},k=0,1$

---

答： 样本的联合分布列为：
$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)=p^{x_1}(1-p{)}^{1-x_1}\cdots p^{x_n}(1-p{)}^{1-x_n}$$$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)=p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}$$

例2：
$$X\sim N(\mu ,{\sigma }^2),f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$$

---

答： 样本的联合分布密度为：
$$f(x_1,x_2,\cdots ,x_n)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_1-\mu {)}^2}{2{\sigma }^2}}\cdots \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_n-\mu {)}^2}{2{\sigma }^2}}=\frac{1}{(\sqrt{2\pi }\sigma {)}^n}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2}$$

1.4 统计量

概念： $(X_1,X_2,\cdots ,X_n)$ 为总体 $X$ 的样本， $T=T(X_1,X_2,\cdots ,X_n)$ 是样本函数，且不含任何未知参数，称 $T$ 为统计量。

1.4.1 常用统计量

• 样本均数：
  $$\bar{X}=\frac{1}{n}\sum _{i-1}^n{X}_i⟹E(X)=\sum _{i-1}^n{x}_i{p}_i$$
• 样本k阶矩：
  $$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k⟹E(X^k)=\sum _{i=1}^n{x}_i^k{p}_i$$
• 样本中心矩：
  $$B_k=\frac{1}{n}\sum _{i=1}^n(X_i-{\bar{X}}_n{)}^k⟹E\{X-E(X){\}}^k$$
• 样本方差：
  $$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-{\bar{X}}_n{)}^2⟹DX=E\{X-E(X){\}}^2$$
  样本标准差：
  $$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-{\bar{X}}_n{)}^2}⟹\sqrt{DX}$$
• 样本相关系数：
  $$R=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}}⟹{\rho }_{XY}$$$${\rho }_{XY}=\frac{E(X-EX)(Y-EY)}{\sqrt{E(X-EX{)}^{2}E(Y-EY{)}^2}}$$
• 顺序统计量： 详见1.4.2
• 经验分布函数： 详见1.4.3

1.4.2 顺序统计量【重点】

$$(X_1,X_2,\cdots ,X_n)⟹(X_{(1)},X_{(2)},\cdots ,X_{(n)})$$

• 第 $i$ 个顺序统计量密度：
  $$f_{(i)}(x)=\frac{n!}{(i-1)!(n-i)!}{F}^{i-1}(x)f(x)\{1-F(x){\}}^{n-i}$$
• 第 $i,j$ 个顺统联合分布：
  $$f_{(i)(j)}(x,y)=\frac{n!}{(i-1)!(j-i-1)!(n-j)!}{F}^{i-1}(x)f(x)\{F(y)-F(x){\}}^{j-i-1}f(y)\{1-F(y){\}}^{n-j}(x<y)$$
• $n$ 个顺统联合分布：
  $$f_{1\cdots n}(x_1,\cdots ,x_n)=n!f(x_1)\cdots f(x_n),(x_1<\cdots <x_n)$$

1.4.3 经验分布函数

总体分布 $F(x)$ 未知，$X_{(1)},X_{(2)},\cdots ,X_{(n)}$ 为样本顺序统计量，当固定一组样本值 $x_{(1)},x_{(2)},\cdots ,x_{(n)}$，则称如下函数为总体 $X$ 的经验分布函数：
$$F_n(x)=\{\begin{array}{l}0,x<x_{(1)}\\ \frac{k}{n},x_{(k)}\le x<x_{(k+1)}\\ 1,x\ge x_{(n)}\end{array}$$

例5：
已知总体 $X\sim B(4,0.1)$ 的10个样本值：$(0,1,0,3,0,2,0,4,0,1)$，求其经验分布函数

---

答：
该样本的顺序统计量为：$(0,0,0,0,0,1,1,2,3,4)$
各样本值出现的概率为：
$$\left[\begin{array}{ccccc}0& 1& 2& 3& 4\\ \frac{5}{10}& \frac{2}{10}& \frac{1}{10}& \frac{1}{10}& \frac{1}{10}\end{array}\right]$$
故，
$$F_n(x)=\{\begin{array}{l}0x<0\\ \frac{5}{10}0\le x<1\\ \frac{7}{10}1\le x<2\\ \frac{8}{10}2\le x<3\\ \frac{9}{10}3\le x<4\\ 1x\ge 4\end{array}$$
显然 $F_n(-\infty )=0,F_n(+\infty )=1,0\le F_n(x)\le 1$，且 $F_n(x)$ 是右连续单调不减函数，满足分布函数的性质，称 $F_n(x)$ 为经验（样本）分布函数。

1.4.4 充分统计量（统计量的性质）

• 定义： 总体分布函数为 $F(x;\theta )$，设 $X_1,X_2,\cdots ,X_n$ 是来自总体的样本，$T=T(x)$ 是统计量，若在给定了 $T$ 的取值后， $X_1,X_2,\cdots ,X_n$ 的条件分布与参数 $\theta$ 无关，则统计量 $T=T(x)$ 称为 $\theta$ 的充分统计量。
  $$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n|T=t)=\frac{P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n,T=t)}{P(T=t)}$$本来样本的联合分布与 $\theta$ 有关，除掉 $T$ 的因素后与 $\theta$ 无关。说明所有 $\theta$ 的信息都包含在统计量 $T=T(x)$ 内。称为充分统计量。

例6：
设总体 $X\sim B(1,p)$，设 $X_1,X_2,\cdots ,X_n$ 是样本，样本值 $x_1,x_2,\cdots ,x_n$，证明统计量 $T(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^n{X}_i$ 是参数 $p$ 的充分统计量。

---

证明：
显然 $T(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^n{X}_i\sim B(n,p)$
$$\begin{array}{rl}P(X_1=x_1,X_2& =x_2,\cdots ,X_n=x_n|\sum _{i=1}^n{X}_i=t)\\ & =\frac{P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n,{\sum }_{i=1}^n{X}_i=t)}{P({\sum }_{i=1}^n{X}_i=t)}\\ & =\frac{p^{x_1}(1-p{)}^{1-x_1}{p}^{x_2}(1-p{)}^{1-x_2}\cdots p^{x_n}(1-p{)}^{1-x_n}}{C_n^t{p}^t(1-p{)}^{n-t}}\\ & =\frac{p^{{\sum }_{i=1}^n{X}_i}(1-p{)}^{n-{\sum }_{i=1}^n{X}_i}}{C_n^t{p}^t(1-p{)}^{n-t}}\\ & =\frac{p^t(1-p{)}^{n-t}}{C_n^t{p}^t(1-p{)}^{n-t}}\\ & =\frac{1}{C_n^t}(与p无关)\end{array}$$ 因此，统计量 $T(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^n{X}_i$ 是参数 $p$ 的充分统计量。

• 因子分解定理： 设总体 $X$ 的概率函数为 $p(x;\theta )$，样本 $X_1,X_2,\cdots ,X_n$ 的统计量 $T=T(x)$ 是 $\theta$ 的充分统计量的充要条件是：
  对任意的 $\theta$，存在两个函数 $g(t,\theta )$ 和 $h(X_1,X_2,\cdots ,X_n)$，有:
  $$p(x_1,x_2,\cdots ,x_n,\theta )=g\{T(x_1,x_2,\cdots ,x_n),\theta \}h(x_1,x_2,\cdots ,x_n)$$

例10：
设总体 $X\sim N(\mu ,{\sigma }^2),\theta =(\mu ,{\sigma }^2)$，证 $T=({\sum }_{i=1}^n{x}_i,{\sum }_{i=1}^n{x}_i^2)$ 是 $\theta$ 的充分统计量

---

证明：
$X_1,X_2,\cdots ,X_n$为样本，联合密度为：
$$\begin{array}{rl}f(x_1,x_2,\cdots ,x_n)& =(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2}\\ & =(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-\frac{1}{2{\sigma }^2}\{{\sum }_{i=1}^n{x}_i^2-2\mu {\sum }_{i=1}^n{x}_i+n{\mu }^2\}}\\ & =(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-\frac{n{\mu }^2}{2{\sigma }^2}}{e}^{-\frac{1}{2{\sigma }^2}\{{\sum }_{i=1}^n{x}_i^2-2\mu {\sum }_{i=1}^n{x}_i\}}\end{array}$$ $$g(t_1,t_2,\theta )=(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-\frac{n{\mu }^2}{2{\sigma }^2}}{e}^{-\frac{1}{2{\sigma }^2}\{t_2-2\mu t_1\}},h(x_1,x_2,\cdots ,x_n)=1$$
$T=({\sum }_{i=1}^n{x}_i,{\sum }_{i=1}^n{x}_i^2)$ 是 $\theta =(\mu ,{\sigma }^2)$ 的充分统计量

• 由因子分解定理可以有如下结论：
  设 $T=T(X_1,X_2,\cdots ,X_n)$ 是 $\theta$ 的一个充分统计量，若 $W(t)$ 是单值可逆函数，则 $W(t)$ 也是 $\theta$ 的一个充分统计量。
  例如上例10中，$T=({\sum }_{i=1}^n{x}_i,{\sum }_{i=1}^n{x}_i^2)$ 是 $\theta =(\mu ,{\sigma }^2)$ 的充分统计量可推导出：
  $⟹$ $T=(\bar{X},S^2)$ 也是 $\theta =(\mu ,{\sigma }^2)$ 的充分统计量

下一篇：统计量的分布、正态总体的抽样分布