正态总体的样本均值与样本方差的分布定理

引理

1. 设总体$X$(不管服从什么分布，只要均值和方差存在)的均值为$\mu$，方差为${\sigma }^2$，$X_1,X_2,\cdots ,X_n$是来自$X$的一个样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有$$E(\overline{X})=\mu ,D(\overline{X})={\sigma }^2/n,E(S^2)={\sigma }^2$$

2. 正态分布线性可加性: 若$X_i\sim N({\mu }_i,{\sigma }_i^2),i=1,2,\cdots ,n$，且他们相互独立，则他们的线性组合:$C_1{X}_1+C_2{X}_2+\cdots +C_n{X}_n$，($C_1,C_2,\cdots ,C_n$是不全为$0$的常数)仍然服从正态分布，且有$$C_1{X}_1+C_2{X}_2+\cdots +C_n{X}_n\sim N(\sum _{i=1}^n{C}_i{\mu }_i,\sum _{i=1}^n{C}_i^2{\sigma }_i^2)$$

3. $n$维正态随机变量重要性质

   $1^0$ $n$维正态随机变量$(X_1,X_2,\cdots ,X_n)$的每一个分量$X_i,i=1,2,\cdots ,n$都是正态随机变量，反之，若$X_1,X_2,\cdots ,X_n$都是正态随机变量，且相互独立，则$(X_1,X_2,\cdots ,X_n)$是$n$维正态随机变量

   $2^0$ $n$维随机变量$(X_1,X_2,\cdots ,X_n)$服从$n$维正态分布的充要条件是$X_1,X_2,\cdots ,X_n$的任意线性组合$$l_1{X}_1+l_2{X}_2+\cdots +l_n{X}_n$$ 服从一维正态分布(其中$l_1,l_2,\cdots ,l_n$不全为零)

   $3^0$ 若$(X_1,X_2,\cdots ,X_n)$服从$n$维正态分布，设$Y_1,Y_2,\cdots ,Y_k$是$X_j(j=1,2,\cdots ,n)$的线性函数，则$(Y_1,Y_2,\cdots ,Y_k)$也服从多维正态分布，这一性质称为正态变量的线性变换不变性

   $4^0$ 设$(X_1,X_2,\cdots ,X_n)$服从$n$维正态分布，则”$X_1,X_2,\cdots ,X_n$相互独立”与”$X_1,X_2,\cdots ,X_n$两两不相关“是等价的。

定理一

• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X}$是样本均值，则有$$\overline{X}\sim N(\mu ,{\sigma }^2/n).$$

  证明很简单，由引言1可知，$E(\overline{X})=\mu ,D(\overline{X})={\sigma }^2/n$

  而$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$ ，$X_i$ 服从正态分布，则根据引理2可知，$$\overline{X}\sim N(\mu ,{\sigma }^2/n).$$

定理二

• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有

  $1^0\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

  $2^0\overline{X}$和$S^2$相互独立

  证明:

  $\begin{array}{rl}\frac{(n-1)S^2}{{\sigma }^2}& =\frac{(n-1)}{{\sigma }^2}\times \frac{1}{(n-1)}\sum _{i=1}^n(X_i-\overline{X}{)}^2\\ & =\frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{{\sigma }^2}\\ & =\frac{\sum _{i=1}^n[(X_i-\mu )-(\overline{X}-\mu ){]}^2}{{\sigma }^2}\\ & =\sum _{i=1}^n(\frac{X_i-\mu }{\sigma }-\frac{\overline{X}-\mu }{\sigma }{)}^2\end{array}$

  为了方便，我们令$Z_i=\frac{X_i-\mu }{\sigma }$ ，由于$X_i\sim N(\mu ,{\sigma }^2)$ ，因此$Z_i\sim N(0,1)$

  且$\overline{Z}=\frac{\overline{X}-\mu }{\sigma }$ ，则

  $\begin{array}{rl}\frac{(n-1)S^2}{{\sigma }^2}& =\sum _{i=1}^n(Z_i-\overline{Z}{)}^2\\ & =\sum _{i=1}^n(Z_i^2-2Z_i\overline{Z}+{\overline{Z}}^2)\\ & =\sum _{i=1}^n{Z}_i^2-2\overline{Z}\sum _{i=1}^n{Z}_i+\sum _{i=1}^n{\overline{Z}}^2\\ & =\sum _{i=1}^n{Z}_i^2-2n{\overline{Z}}^2+n{\overline{Z}}^2\\ & =\sum _{i=1}^n{Z}_i^2-n{\overline{Z}}^2\end{array}$

  取一个$n$阶正交矩阵$A=(a_{ij})$，其第一行元素均为$1/\sqrt{n}$

  $A=\left[\begin{array}{cccc}1/\sqrt{n}& 1/\sqrt{n}& \cdots & 1/\sqrt{n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$

  对$A$做正交变换 $Y=AZ$ ，有

  $$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ⋮\\ Y_n\end{array}\right],Z=\left[\begin{array}{c}{Z}_1\\ Z_2\\ ⋮\\ Z_n\end{array}\right]$$

  由于 $Y_i=\sum _{j=1}^n{a}_{ij}{Z}_j,i=1,2,\cdots ,n$ ，因此$Y_i$仍服从正态分布，由$Z_i\sim N(0,1)$ 可知

  $$E(Y_i)=E(\sum _{j=1}^n{a}_{ij}{Z}_j)=\sum _{j=1}^n{a}_{ij}E(Z_j)=0$$

  $D(Y_i)=D(\sum _{j=1}^n{a}_{ij}{Z}_j)=\sum _{j=1}^n{a}_{ij}^{2}D(Z_j)=\sum _{j=1}^n{a}_{ij}^2=1$

  又由$Cov(Z_i,Z_j)={\delta }_{ij}=\{\begin{array}{l}0,i\ne j\\ 1,i=j\end{array},i,j=1,2,\cdots ,n$

  $$\begin{array}{rl}Cov(Y_i,Y_k)& =Cov(\sum _{j=1}^n{a}_{ij}{Z}_j,\sum _{l=1}^n{a}_{kl}{Z}_l)\\ & =\sum _{j=1}^n\sum _{l=1}^n{a}_{ij}{a}_{kl}Cov(Z_j,Z_l)\\ & =\sum _{j=1}^n{a}_{ij}{a}_{kj}\\ & =\{\begin{array}{l}0,i\ne j\\ 1,i=j\end{array}(正交矩阵性质，各行均是单位向量且两两正交)\end{array}$$

  由此可知$Y_1,Y_2,\cdots ,Y_n$ 两两互不相关。又由于$n$维随机变量$(Y_1,Y_2,\cdots ,Y_n)$是由$n$维随机变量$(X_1,X_2，\cdots ,X_n)$经线性变换得到，因此$(Y_1,Y_2,\cdots ,Y_n)$也是$n$维正态随机变量，由引理3性质4可知，$Y_1,Y_2,\cdots ,Y_n$两两互不相关也即是$Y_1,Y_2,\cdots ,Y_n$互相独立。前面已经计算出$E(Y_i)=0,D(Y_i)=1$ 因此 $Y_i\sim N(0,1),i=1,2,\cdots ,n.$

  $$\begin{array}{rl}{Y}_1& =\sum _{j=1}^n{a}_{1j}{Z}_j\\ & =\sum _{j=1}^n\frac{1}{\sqrt{n}}{Z}_j\\ & =\frac{1}{\sqrt{n}}\ast n\overline{Z}\\ & =\sqrt{n}\overline{Z}\end{array}$$

  $$\begin{array}{rl}\sum _{i=1}^n{Y}_i^2& =Y^{T}Y=(AZ{)}^T(AZ)\\ & =Z^T{A}^{T}AZ=Z^{T}Z=\sum _{i=1}^n{Z}_i^2\end{array}$$

  此时有

  $\begin{array}{rl}\frac{(n-1)S^2}{{\sigma }^2}& =\sum _{i=1}^n{Z}_i^2-n{\overline{Z}}^2\\ & =\sum _{i=1}^n{Y}_i^2-Y_1^2\\ & =\sum _{i=2}^n{Y}_i^2\end{array}$

  由于$Y_2,Y_3,\cdots ,Y_n$相互独立，且$Y_i\sim N(0,1)$ ，因此 $$\frac{(n-1)S^2}{{\sigma }^2}=\sum _{i=2}^n{Y}_i^2\sim {\chi }^2(n-1).$$

  其次，$\overline{X}=\sigma \overline{Z}+\mu =\frac{\sigma Y_1}{\sqrt{n}}+\mu$ 仅跟$Y_1$有关，而$S^2=\frac{{\sigma }^2}{n-1}\sum _{i=2}^n{Y}_i^2$ 仅依赖于$Y_2,Y_3,\cdots ,Y_n$ ，又因为$Y_1,Y_2,\cdots ,Y_n$相互独立，因此有$\overline{X}$和$S^2$相互独立

定理三

• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有$$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

  证明：

  由定理一可知，$\overline{X}\sim N(\mu ,{\sigma }^2/n).$

  进行标准化之后有$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$

  由定理二可知，$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

  根据$t$分布定义有 $$\begin{array}{r}\frac{\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}}{\sqrt{\frac{(n-1)S^2}{{\sigma }^2(n-1)}}}=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)\end{array}$$

  证明完毕

定理四

• 设$X_1,X_2,\cdots ,X_{n_1}$与$Y_1,Y_2,\cdots ,Y_{n_1}$是来自正态总体$N({\mu }_1,{\sigma }_1^2)$和$N({\mu }_2,{\sigma }_2^2)$的样本，且这两个样本 相互独立. 设$\overline{X}=\frac{1}{n_1}\sum _{i=1}^{n_1}{X}_i,\overline{Y}=\frac{1}{n_2}\sum _{i=1}^{n_2}{Y}_i$ 分别是这两个样本的样本均值；$S_1^2=\frac{1}{n_1-1}\sum _{i=1}^{n_1}(X_i-\overline{X}{)}^2,S_2^2=\frac{1}{n_2-1}\sum _{i=1}^{n_2}(Y_i-\overline{Y}{)}^2$分别是两个样本的样本方差，则有

  $1^0\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$

  $2^0$ 当${\sigma }_1^2={\sigma }_2^2={\sigma }^2$时，$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$

  其中$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},S_w=\sqrt{S_w^2}$

  证明:

  $1^0$ 由定理二可知 $$\begin{gathered} \frac{(n_1-1)S_1^2}{{\sigma }_1^2}\sim {\chi }^2(n_1-1)(1) \\ \frac{(n_2-1)S_2^2}{{\sigma }_2^2}\sim {\chi }^2(n_2-1)(2) \end{gathered}$$

  此时有 $$\frac{(n_1-1)S_1^2}{(n_1-1){\sigma }_1^2}/\frac{(n_2-1)S_2^2}{(n_2-1){\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

  即

  $$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

  $2^0$ 由式$(1)$和$(2)$，以及${\chi }^2$分布的可加性可知 $$\frac{(n_1-1)S_1^2}{{\sigma }_1^2}+\frac{(n_2-1)S_2^2}{{\sigma }_2^2}服从{\chi }^2(n_1+n_2-2)$$

  由${\sigma }_1^2={\sigma }_2^2={\sigma }^2$可知，$$\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{{\sigma }^2}\sim {\chi }^2(n_1+n_2-2)(3)$$

  由定理一可知$\overline{X}\sim N({\mu }_1,{\sigma }^2/n),\overline{Y}\sim N({\mu }_2,{\sigma }^2/n).$

  因此$\overline{X}-\overline{Y}\sim N({\mu }_1-{\mu }_2,{\sigma }^2/n_1+{\sigma }^2/n_2)$ ，对其进行标准化有

  $$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }^2/n_1+{\sigma }^2/n_2}}\sim N(0,1)(4)$$

  由式$(3)、(4)$可知 $$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }^2/n_1+{\sigma }^2/n_2}}/\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{{\sigma }^2(n_1+n_2-2)}}\sim t(n_1+n_2-2)$$

  即$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$

  证明完毕