Bootstrap重抽样方法

Bootstrap重抽样方法

Bootstrap重抽样数据集的产生方式主要分为3种方法：

非参数重抽样 Non-parametric resampling

此方法不假设数据的分布或模型。数据表示为n个独立观测向量$y_{obs}$, 假设求参数$\hat{\theta }(y_{obs})$的置信区间，非参数bootstrap抽样的步骤如下：

1. 从$y_{obs}$中进行放回的重抽样$n$次，得到bootstrap数据集，表示为$Y^{\ast }$；
2. 计算抽样数据集的统计量：${\hat{\theta }}^{\ast }=\hat{\theta }(Y^{\ast })$
3. 重复步骤1,2总共$B$次，得到${\hat{\theta }}^{\ast }$的bootstrap分布。

从排序后的系列${\hat{\theta }}_1^{\ast },{\hat{\theta }}_2^{\ast },\dots ,{\hat{\theta }}_B^{\ast }$，可以计算${\hat{\theta }}^{\ast }$的置信区间。

参数重抽样 Parametric resampling

1. 根据数据计算总体$\theta$的估计值$\hat{\theta }$，方式比如采用极大似然估计；
2. 把估计值$\hat{\theta }$代入模型$F_Y(.;\hat{\theta })$; 从模型抽取$n$个观测，形成数据集$Y^{\ast }$;
3. 计算${\hat{\theta }}^{\ast }=\hat{\theta }(Y^{\ast })$；
4. 重复2,3步$B$次，得到估计量的参数bootstrap分布。

参数重抽样和非参数重抽样的主要区别在于bootstrap数据集$Y^{\ast }$的生成，如果是从原始数据生成的，是非参数重抽样；如果是原始数据计算估计参数，然后把估计参数代入模型或分布，再生成数据集的，是参数重抽样。

半参数重抽样 Semi-parametric resampling

半参数重抽样是指模型$$y=g(\beta ,x)+r$$$r$是残差。

1. 令${\tilde{r}}_i=r_i-\bar{r}$，采用非参数方式重抽样方式得到$r_1^{\ast },r_2^{\ast },\dots ,r_n^{\ast }$
2. 计算bootstrap数据集(参数方法)$$y_i^{\ast }=g(\hat{\beta },x)+r_i^{\ast },i\in 1,2,3,\dots ,n$$，得到$Y^{\ast }$；
3. 根据生成的数据集$Y^{\ast }$, 计算${\beta }^{\ast }$
4. 重复步骤1-3 $B$次，得到${\beta }^{\ast }$的bootstrap分布。

和参数重抽样相比，参数重抽样模型随机的数据来自正态分布$N(0,{\sigma }^2)$，半参数重抽样模型随机的数据来自残差（调整）非参数重抽样。