【统计计算】关于Jackknife的理解和推导

不用Jackknife的情形（理想情况下我们是怎么做的）

一般地，我们想要研究总体$P$，我们对参数$\theta$非常感兴趣，但是这是一个未知的值，我们只能通过样本来估计它。我们如何利用样本来估计它呢？

---

特例（均值）

我们先用一个比较具体的例子，统计人的好伙伴——均值。

比如我们想要估计总体的均值$\mu$，假设我们任意抽的样本为$X=(x_1,x_2,...,x_n)$，我们就通过统计量$s=s(x_1,...x_n)=\frac{1}{n}{\sum }_{i=1}^n{x}_i$来估计$\mu$。

我们抽样得到了多组样本$X_1,X_2,...X_m$（$X_i=(x_{i1},x_{i2},...,x_{in})$），每组样本都可以计算出统计量$s$的值，一共有$m$组样本，那么我们就可以算出$m$个统计量$s$的值。

$$使用样本X_1：s_1=s(x_{11},...,x_{1n})=\frac{1}{n}\sum _{j=1}^n{x}_{1j}$$

$$使用样本X_2：s_2=s(x_{21},...,x_{2n})=\frac{1}{n}\sum _{j=1}^n{x}_{2j}$$

$$......$$

$$使用样本X_m：s_m=s(x_{m1},...,x_{mn})=\frac{1}{n}\sum _{j=1}^n{x}_{mj}$$

每一个$s_i(i=1,...,m)$都可以用来反映$\mu$的大小，我们究竟应该听谁的呢？我们选择综合每个样本的意见，使用$\bar{s}=\frac{1}{m}{\sum }_{i=1}^m{s}_i$来反映$\mu$的大小。

---

一般的例子

比如我们想要估计总体的参数$\theta$（比如均值、方差、中位数等等），假设我们任意抽的样本为$X=(x_1,x_2,...,x_n)$，我们就通过统计量$s=s(x_1,...x_n)$来估计$\theta$。

我们抽样得到了多组样本$X_1,X_2,...X_m$（$X_i=(x_{i1},x_{i2},...,x_{in})$），每组样本都可以计算出统计量$s$的值，一共有$m$组样本，那么我们就可以算出$m$个统计量$s$的值。

$$使用样本X_1：s_1=s(x_{11},...,x_{1n})$$

$$使用样本X_2：s_2=s(x_{21},...,x_{2n})$$

$$......$$

$$使用样本X_m：s_m=s(x_{m1},...,x_{mn})$$

每一个$s_i(i=1,...,m)$都可以用来反映$\theta$的大小，我们究竟应该听谁的呢？我们选择综合每个样本的意见，使用$\bar{s}=\frac{1}{m}{\sum }_{i=1}^m{s}_i$来反映$\theta$的大小。

上面是一般情况下也是理想情况下的操作，但现实总是很魔幻，那就是下面的事情了。

---

这个估计好吗？（统计量的性质）

我们使用$\bar{s}$来估计总体参数$\theta$，这种估计好不好呢？可能我们从构造了一个不好的统计量，那么这个统计量对参数的估计效果可能就很差。所以我们还需要考察构造的统计量$s$的好坏。这样我们就需要用到偏差和标准误差。

$$偏差：bias=E(s)-\theta$$

$$标准误差：se=\frac{s_{标准差}}{\sqrt{n}}$$

（仅仅$s_{标准差}$代表标准差，其他所有的$s$代表统计量，不好意思我第一次写的时候没有意识到我要用两个$s$，这里声明一下）

---

使用Jackknife的情形

假设我们现在想要研究的总体目标$P$非常特殊，是得一种很稀有的病的人，可能几万个人才有1个得病的，这个人群非常稀少，我们很难获得大量的样本，就算可以获得一定的样本，也很难重复抽样。但是我们依然希望能够估计总体的参数$\theta$，我们依然用统计量$s$去估计总体参数$\theta$，并且还要评价这种估计的好坏，那么现在会面临什么样的问题呢？

我们现在面临的问题

• 我们费尽千辛万苦终于有一组样本$X=(x_1,x_2,...,x_n)$，但没办法再重复抽样了，也就是没有办法得到多组样本$X_1,X_2,...,X_m$，于是无法得到统计量$s$的多个估计值$s_1,...,s_m$，无法通过平均多个估计值得到$\bar{s}$去估计参数$\theta$。
• 我们无法衡量统计量$s$的好坏了。之前每次计算的统计量$s$的值有大有小，现在我们只有一个值，我们怎么知道这个值是不是正常地恰好偏大或者恰好偏小，还是这个统计量本身就有问题，所以我们算出来的值偏离很严重？

我们现在只能怎么做呢？

只能通过仅有的一个样本$X=(x_1,x_2,...,x_n)$去估计统计量$s$的一个值，然后仅仅根据这一个值来估计总体参数$\theta$。

这样做可以吗
可以，但是不好。为什么不好呢？因为只用一个数去估计总体参数的话方差会很大，会非常不精确。那怎么办呢？我们可以借助Jackknife的方法。

Jackknife是什么

有点类似于机器学习中的leave-one-out思想：

我们不是只有一个样本$X=(x_1,x_2,...,x_n)$吗？现在我们希望能够得到多个样本，但是又没办法重复抽样得到多个样本了，我们就只能利用已有的样本$X$，通过它来重复产生样本。

很简单，我们每次剔除$X$中的一个值就可以产生一个样本，这样我们一共可以产生$n$个样本。第$i$个样本为：

$$X_{(i)}=(x_1,...,x_{i-1},x_{i+1},...,x_n)$$

于是我们得到了新的$n$个样本$X_{(1)},...,X_{(n)}$，我们通过这$n$个样本计算出统计量$s$的$n$个值，通过$\bar{s}$来估计总体参数$\theta$。最后我们还要考察统计量$s$好不好。

---

以下记统计量为$\hat{\theta }$。

记${\hat{\theta }}_{(i)}=\hat{\theta }(x_1,...,x_{i-1},x_{i+1},...,x_n)$，是代入样本$X_{(i)}$后算出来统计量$\hat{\theta }$的值，每个值都可以反映$\theta$的大小。我们再将每次算出的值进行平均，构造出新的统计量${\hat{\theta }}_{(.)}$：

$${\hat{\theta }}_{(.)}=\frac{1}{n}\sum _{i=1}^n{\hat{\theta }}_{(i)}$$

我们使用${\hat{\theta }}_{(.)}$来估计总体参数$\theta$。

这个估计好吗？（$\hat{\theta }$的性质）

下面我们来考察统计量${\hat{\theta }}_{(.)}$的好坏，衡量统计量好坏的指标有很多，这里我们选择的是【偏差】和【标准误差】。

• 由于之前的推导并没有对未知参数$\theta$做出任何要求，$\theta$可以是期望、方差、峰度等等任何指标，如果要计算未知参数$\theta$对应统计量的偏差和标准误差需要知道统计量的具体构造方法，因此仅仅是根据笼统的未知参数$\theta$是不能具体计算的。下面分别在未知参数$\theta$为总体方差和期望的两种情况下分别计算对应统计量的偏差和方差作为特例。

偏差

以总体方差$\theta ={\sigma }^2$为例，我们构造了统计量$\hat{\theta }={\hat{\sigma }}^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2$，我们想知道这个统计量$\hat{\theta }$是否无偏，我们可以考察统计量$\hat{\theta }$的偏差$bias(\hat{\theta })$（是一个未知的数）：

$$bias(\hat{\theta })=E(\hat{\theta })-\theta$$

如果偏差$bias(\hat{\theta })=0$，说明统计量$\hat{\theta }$无偏。但是偏差$bias(\hat{\theta })=0$是一个未知的数，我们只能通过构造统计量$\widehat{bias(\hat{\theta })}$去估计$\hat{\theta }$，构造方法如下：

• 用$\hat{E}(\hat{\theta })$来估计$E(\hat{\theta })$，即用样本均值估计期望。
• 用$\hat{\theta }$来估计$\theta$。

但是我们只有一个样本$X=(x_1,...,x_n)$，只能计算一个$\hat{\theta }$的值，无法得到样本均值$\hat{E}(\hat{\theta })$。怎么办呢？我们使用Jackknife方法构造出新的n个样本$X_{(1)},...,X_{(n)}$，这样就可以得到多个$\hat{\theta }$的值，从而计算除$\hat{E}(\hat{\theta })$了。

$$\hat{E}(\hat{\theta })=\frac{1}{n}\sum _{i=1}^n{\hat{\theta }}_{(i)}={\hat{\theta }}_{(.)}$$

$$\widehat{bias(\hat{\theta })}=\hat{E}(\hat{\theta })-\hat{\theta }={\hat{\theta }}_{(.)}-\hat{\theta }$$

其中：
$${\hat{\theta }}_{(i)}=\hat{\theta }(X_{(i)})$$

$$\hat{\theta }=\hat{\theta }(X)$$

我们本意是查看统计量$\hat{\theta }$的好坏，我们通过偏差$bias$这个指标来衡量$\hat{\theta }$的好坏。但是由于$bias$是一个未知的数，我们只能通过构造统计量去估计它，于是我们构造出了$bias$的统计量$\widehat{bias}$。我们构造出的这个统计量可能好可能不好，下面我们来计算统计量$\widehat{bias}$的期望（如果无偏则统计量$\widehat{bias}$好）：

$$\begin{array}{rl}E(\widehat{bias(\hat{\theta })})& =E({\hat{\theta }}_{(.)}-\hat{\theta })\\ & =E({\hat{\theta }}_{(.)}-\theta )+E(\theta -\hat{\theta })\\ & =bias({\hat{\theta }}_{(.)})-bias(\hat{\theta })\\ & =-\frac{{\sigma }^2}{n-1}-(-\frac{{\sigma }^2}{n})\\ & =-\frac{1}{n(n-1)}{\sigma }^2\end{array}$$

---

「 对上式倒数第二行的证明（回想一下$\hat{\theta }$是什么，是${\hat{\sigma }}^2$；回想一下${\hat{\sigma }}^2$是什么，是$\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2$，回想一下$x_i$是什么…… ）：

$$\begin{array}{rl}bias(\hat{\theta })& =E({\hat{\sigma }}^2-{\sigma }^2)\\ & =E(\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2)-{\sigma }^2\\ & =-\frac{1}{n}{\sigma }^2\end{array}$$

因为$\hat{\theta }$用了n个数据，${\hat{\theta }}_{(i)}$只用了n-1个数据，于是:

$$bias({\hat{\theta }}_{(i)})=E({\hat{\theta }}_{(i)}-\theta )=-\frac{1}{n-1}{\sigma }^2$$」

---

这样就说明，用$\widehat{bias(\hat{\theta })}$来估计$bias(\hat{\theta })$是有偏的，因为：$$E(\widehat{bias(\hat{\theta })})=\frac{1}{n-1}bias(\hat{\theta })$$

但是只要我们稍作调整就可以得到$bias(\hat{\theta })$的无偏估计，构造：
$${\widehat{bias}}_{jack}=(n-1)\widehat{bias}(\hat{\theta })$$

则：$$E({\widehat{bias}}_{jack})=bias(\hat{\theta })$$

所以我们构造的${\widehat{bias}}_{jack}$是$bias(\hat{\theta })$的无偏估计，这就是我们Jackknife对偏差的估计：

$${\widehat{bias}}_{jack}=(n-1)({\hat{\theta }}_{(.)}-\hat{\theta })$$

标准误差

以总体均值$\theta =\mu$为例，我们构造了统计量$\hat{\theta }=\bar{x}={\sum }_{i=1}^n{x}_i$，我们想知道这个统计量$\bar{x}$的标准误差$se(\hat{\theta })=\frac{s_{标准差}}{\sqrt{n}}$。

但是我们只有一个样本$X=(x_1,...,x_n)$。于是我们使用Jackknife方法构造出新的n个样本$X_{(1)},...,X_{(n)}$，我们可以查看统计量的标准误差$se(\hat{\theta })$（是一个数）：

$$\begin{array}{rl}se(\hat{\theta })& =\frac{s_{标准差}}{\sqrt{n}}\\ & =\sqrt{\frac{D_{方差}}{n}}\\ & =\sqrt{\frac{{\sigma }^2}{n}}\end{array}$$

我们使用统计量$\widehat{se}(\hat{\theta }{)}_{jack}$来估计$se(\hat{\theta })$（一个数），这个统计量最好是无偏估计的。由于一般而言$\widehat{se}$都有根号，不方便算期望，于是我们用${\widehat{se}}^2$来算。于是我们使用统计量$\widehat{s{e}^2}(\hat{\theta }{)}_{jack}$来估计$s{e}^2(\hat{\theta })$（一个数）。其中：

$$s{e}^2(\hat{\theta })=\frac{{\sigma }^2}{n}$$

我们来基于下面式子$(\ast )$来逐步构造$\widehat{s{e}^2}(\hat{\theta }{)}_{jack}$：

$$\sum _{i=1}^n({\hat{\theta }}_{(i)}-{\hat{\theta }}_{(.)}{)}^2\text{\hspace{1em}(*)}$$

我们需要$\widehat{s{e}^2}(\hat{\theta }{)}_{jack}$是$s{e}^2(\hat{\theta })$的无偏估计，于是我们来计算上面那个式子$(\ast )$的期望，如果期望不等于$s{e}^2(\hat{\theta })$，我们只需要乘以一个系数即可将它调整为无偏估计。

$$\begin{array}{rl}{\hat{\theta }}_{(i)}-{\hat{\theta }}_{(.)}& =\frac{1}{n-1}\sum _{j\ne i}^n{x}_j-\bar{x}\\ & =\frac{n\bar{x}-x_i}{n-1}-\bar{x}\\ & =\frac{\bar{x}-x_i}{n-1}\end{array}$$

于是：

$$\begin{array}{rl}E(\sum _{i=1}^n({\hat{\theta }}_{(i)}-{\hat{\theta }}_{(.)}{)}^2)& =E(\frac{1}{(n-1{)}^2}\sum _{i=1}^n(x_i-\bar{x}{)}^2)\\ & =\frac{1}{n-1}{\sigma }^2\end{array}$$

构造：
$$\begin{array}{rl}\widehat{s{e}^2}(\hat{\theta }{)}_{jack}& =\frac{n-1}{n}\sum _{i=1}^n({\hat{\theta }}_{(i)}-{\hat{\theta }}_{(.)}{)}^2)\end{array}$$

$$\begin{array}{rl}E(\widehat{s{e}^2}(\hat{\theta }{)}_{jack})& =\frac{{\sigma }^2}{n}\end{array}$$

这样构造的$\widehat{s{e}^2}(\hat{\theta }{)}_{jack}$就是$s{e}^2(\hat{\theta })$的无偏估计。

所以我们使用${\widehat{se}}^2(\hat{\theta }{)}_{jack}$来估计${se}^2$，即用$\widehat{se}(\hat{\theta }{)}_{jack}$来估计$se(\hat{\theta })$，这就是我们Jackknife对标准误差$se$的估计：

$$\begin{array}{rl}{\widehat{se}}_{jack}& =\sqrt{\widehat{se}(\hat{\theta }{)}_{jack}}\\ & =\sqrt{\frac{n-1}{n}\sum _{i=1}^n({\hat{\theta }}_{(i)}-{\hat{\theta }}_{(.)}{)}^2}\end{array}$$

注意

• 对统计量$\hat{\theta }$的偏差的Jackknife估计是在$\theta$为总体方差的情况下得出的，对统计量$\hat{\theta }$的标准误差的Jackknife估计是在$\theta$为总体期望的情况下得出的。那么在$\theta$为其他的未知参数时有可能依这种方法构造出来的Jackknife（对偏差/对标准误差的）估计不是无偏估计，或者非常难以计算其究竟是不是无偏估计。

• 但是为什么我们还是这样使用${\widehat{bias}}_{jack}$和${\widehat{se}}_{jack}$呢？因为我们构造的方法至少要在最简单的情况下成立，如果最简单的情况下我们构造的统计量都不好，那在复杂的情况下肯定更不好了。

复盘

最后最重要的一点，Jackknife究竟是用来干什么的？我们再重新回溯一下之前所有的过程。

• 我们感兴趣的是总体的未知参数$\theta$，由于它未知，我们需要用统计量$\hat{\theta }$来估计它。
• 统计量$\hat{\theta }$可能好可能不好，我们希望我们构造出来的统计量性能很好，那么我们就需要考察它的各种指标，这里我们选择的是统计量的偏差和标准误差。偏差为0说明统计量为未知参数的无偏估计，标准误差小说明用统计量估计未知参数比较精确。
• 由于偏差和标准误差也都是未知的数，因为我们需要构造相应的统计量来估计偏差和标准误差。

在特定的情况下，我们就是在这个地方需要Jackknife。因为我们无法重复获得大量的样本，我们现在只有一个样本，所以我们利用Jackknife的方法可以基于我们仅有的样本来构造“新”的样本。我们再基于新的样本来计算偏差的估计和标准误差的估计。

如果我们本身就可以获得大量的样本，那就不需要Jackknife的方法来构造样本了。我们直接通过大量的样本就可以计算偏差的估计和标准误差的估计了。

参考

• 关于标准误差的定义：https://www.tutorialspoint.com/statistics/standard_error.htm

• wiki里面比较简略，没有推导过程
  https://en.wikipedia.org/wiki/Jackknife_resampling#CITEREFEfron1982

• 但我参考了wiki中的参考文献
  McIntosh, Avery I. “The Jackknife Estimation Method” (PDF). Boston University. Avery I. McIntosh. Retrieved 2016-04-30.: p. 3.
  （上面这个pdf我放在下载资源中了）