为什么样本方差要除以n-1

  这学期在外交换选的大部分是统计学院的课，前几天在课上教授偶然提到了样本方差与样本空间的方差$v(x)=\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2$不同，样本方差为$v(x)=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\mu {)}^2$。这一块在以前学数理统计的时候就没太学明白，前两天另一门课又详细讲了简单随机抽样的过程，对我有了很大启发，之前困扰我的问题也解决了。

一、简单随机抽样

  假设一个样本空间$\Omega =\{1,2,...,9\}$，每次从样本空间中随机抽取一个数X，要计算X小于5的概率，即$P(X<5)$。但如果仔细想一想，当我们抽取了一个X，X应该是一个确认的常数，为什么会有小于5的概率呢？
  这是因为，我们感兴趣的不是选出特定那个数字小于5的概率。随机性来源于我们假定的随机在样本空间中抽取一个数字，并假设每个数字被抽取到的概率相等。这个过程叫做简单随机抽样（Simple Random Sample, SRS）。进一步说，我们感兴趣的是每次随机抽取一个数字，这个数字小于5的概率。
  然而，样本数据并不能反映数据的真实情况，因为随机抽样的随机性。例如在我们的例子內，假如我们做9次简单随机抽样，我们并不能保证数字1到9都会出现，这也是为什么，数据的总方差和样本方差是不一样的。

二、中心极限定理

  然而，由于中心极限定理，假设我们做n次简单随机抽样，当n是一个足够大数字的时候，我们随机抽样样本的均值$\bar{x}$是服从于正态分布的。
  我们知道，对正态分布重要的参数是变量的均值与方差，即$\bar{x}$的均值与方差。我们假设样本为$X=\{x_1,x_2,...,x_n\}$，样本均值为$\bar{x}$，总体均值为$\mu$，样本方差为$S^2$，总体方差为${\sigma }^2$，则：
$$E(\bar{x})=E(\frac{1}{n}\sum _{i=1}^n{x}_i))=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}\cdot n\cdot E(X)=\mu$$
$$D(\bar{x})=D(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n^2}\sum _{i=1}^{n}D(x_i)=\frac{{\sigma }^2}{n}$$
  因此我们可得，简单随机抽样的样本均值$\bar{x}～N(\mu ,\frac{{\sigma }^2}{n})$。

三、无偏估计

  如果我们只取一组随机抽样的均值$\bar{x}$，那这组均值有很大概率与总均值$\mu$有偏差的，当我们取多次求抽样样本均值，再求均值，$E(\bar{x})$就会越来越靠近真实均值$\mu$，这也是中心极限定理的作用所在。如果我们想获得总样本均值的无偏估计，就需要多次抽样求平均值来接近真实值。

四、样本方差

  根据刚才的思路，来计算样本方差：
$$\begin{array}{rl}E(S^2)& =E(\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2)=E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu )-(\bar{x}-\mu ){)}^2)\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-2(x_i-\mu )(\bar{x}-\mu )+(\bar{x}-\mu {)}^2)))\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-\frac{2}{n}\sum _{i=1}^n(x_i-\mu )(\bar{x}-\mu )+\frac{1}{n}\sum _{i=1}^n(\bar{x}-\mu {)}^2)))\\ & \because \frac{1}{n}\sum _{i=1}^n(x_i-\mu )=\frac{1}{n}\sum _{i=1}^n{x}_i-\mu =\bar{x}-\mu \\ & \therefore E(S^2)=E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-\sum _{i=1}^n(\bar{x}-\mu {)}^2)))\\ & =E(\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2)-E(\sum _{i=1}^n(\bar{x}-\mu {)}^2)\\ & ={\sigma }^2-E(\sum _{i=1}^n(\bar{x}-\mu {)}^2)\le {\sigma }^2\end{array}$$
  从而可得，样本方差的均值是小于总方差的。我们继续化简：
$$\begin{array}{rl}& E(\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2)-E(\sum _{i=1}^n(\bar{x}-\mu {)}^2)\\ & =D(X)-D(\bar{x})\\ & ={\sigma }^2-\frac{1}{n}{\sigma }^2\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$$
  所以，$E(S^2)=\frac{n-1}{n}{\sigma }^2$，如果我们要为样本方差修正，就要为$S^2$乘上$\frac{n}{n-1}$，所以我们可得样本方差为：
$$S^2=\frac{n}{n-1}(\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$
  这就是为什么样本方差的分母除的是$n-1$，而不是$n$。

五、参考文献

1. 彻底理解样本方差为何除以n-1
2. 样本均值的期望等于总体期望，样本方差的期望等于总体方差
3. UC Berkeley STAT131A讲义