MATLAB**Bootstrap------2019/7/30

Bootstrap 方法

• 非参数Bootstrap法
  (1) 估计量的标准误差的Bootstrap估计

将估计量$\theta$的标准差${\sigma }_{\theta }=\sqrt{D(\theta )}$称为估计量$\theta$的标准误差。

求$\sqrt{D(\theta )}$的Bootstrap估计的步骤：

1）将原始数据样本$x_1,x_2,\cdots ,x_n$按放回抽样的方法，抽得容量为$n$的样本$x_1^{\ast },x_2^{\ast },\cdots ,x_n^{\ast }$(称为Bootstrap样本)
2）相继地，独立地求出$B(B\ge 1000)$个容量为$n$的样本$x_1^{\ast i},x_2^{\ast i},\cdots ,x_n^{\ast i},i=1,2,\cdots ,B$对于第$i$个Bootstrap样本，计算${\theta }_i^{\ast }=\theta (x_1^{\ast i},x_2^{\ast i},\cdots ,x_n^{\ast i}),i=1,2,\cdots ,B。{\theta }_i^{\ast }$称为$\theta$的第$i$个Bootstrap估计
3)计算
$${\sigma }_{\theta }=\sqrt{\frac{1}{B-1}\sum _{i=1}^B({\theta }_i^{\ast }-{\theta }^{\ast }{)}^2}$$
式中： $\overline{{\theta }^{\ast }}=\frac{1}{B}{\sum }_{i=1}^B{\theta }_i^{\ast }$

例 7.13

a=[18.2 9.5 12.0 21.1 10.2]; %原始样本
b=bootstrp(1000,@(x)quantile(x,0.5),a)
%求各个Bootstrap样本的中位数
%bootstat = bootstrp(nboot,bootfun,d1,...) nboot为样本总数,使用bootfun计算每个样本的统计信息,并在矩阵bootstat器 中返回结果。nboot必须为正整数。bootfun是使用@指定的函数句柄。每行bootstat包含将bootfun应用于一个引导示例的结果。如果bootfun返回矩阵或数组,则此输出将转换为行矢量以存储在bootstat中.

c=std(b)  
%计算b数据的标准差

(2) 估计量的均方差误差的Bootstrap估计
设$X=(X_1,X_2,\cdots ,X_n)$为来自总体$F$的样本，$R=R(X)$是感兴趣的随机变量，依赖于样本$X$,假设我们希望去估计$R$的分布的某些特征。例如$R$的数学期望$E_F(R)$,就可以按照上述三个步骤进行，只是在第二步中对于第$i$个Bootstrap样本$x_i^{\ast }=(x_1^{\ast i},x_2^{\ast i},\cdots ,x_n^{\ast i})$,计算$R_i^{\ast }=R_i^{\ast }(x_i^{\ast })$代替${\theta }_i^{\ast }$,且在第(3)不中计算感兴趣的$R$的特征。例如希望估计$E_F(R)$就计算$$E_{\ast }(R^{\ast })=\frac{1}{B}\sum _{i=1}^B{R}_i^{\ast }$$
例7.14

a=[136.3 136.6 135.8 135.4 134.7 135.0 134.1 143.3 147.8 148.8 134.8 135.2 134.9 149.5 141.2 135.4 134.8 135.8 135.0 133.7 134.4 134.9 134.5 135.2];
b=bootstrp(1000,@(x) quantile(x,0.5),a)
%求各个Bootstrap样本的中位数

c=mean((b-quantile(a,0.5)).^2) 
%计算均方误差MSE=E[(M-θ)]

(3)求未知参数$\theta$的Bootstrap置信区间
设$X=(X_1,X_2,\cdots ,X_n)$为来自总体$F$容量为$n$的样本,$x=(x_1,x_2,\cdots ,x_n)$是一个已知的样本值。$F$中含有未知参数$\theta$ , $\theta =\theta (X_1,X_2,\cdots ,X_n)$是$\theta$的估计量。求$\theta$的置信水平为$1-\alpha$的置信区间

1） 相继地，独立地从样本$x=(x_1,x_2,\cdots ,x_n)$中求出$B(B\ge 1000)$个容量为$n$的样本，对于每个样本求出$\theta$的Bootstrap估计：${\theta }_1^{\ast },{\theta }_2^{\ast },\cdots ,{\theta }_B^{\ast }$,将它们自大到小排序得：
$${\theta }_{(1)}^{\ast }\le {\theta }_{(2)}^{\ast },\cdots ,\le {\theta }_{(B)}^{\ast }$$
2)  取$R(X)=\theta ,$用对应的$R(X^{\ast })={\theta }^{\ast }$的分布作为$R(X)$分布的近似，求出$R(X^{\ast })$的分布的近似分位数${\theta }_{\alpha /2}^{\ast }$和${\theta }_{1-\alpha /2}^{\ast }$使
$$P\{{\theta }_{\alpha /2}^{\ast }<{\theta }^{\ast }<{\theta }_{1-\alpha /2}^{\ast }\}=1-\alpha$$
近似有：
$$P\{{\theta }_{\alpha /2}^{\ast }<\theta <{\theta }_{1-\alpha /2}^{\ast }\}=1-\alpha$$
记 $k_1=[B\times \frac{\alpha }{2}],k_1=[B\times (1-\frac{\alpha }{2})]$,以${\theta }_{(k_1)}^{\ast },{\theta }_{(k_2)}^{\ast }$分别作为${\theta }_{\alpha /2}^{\ast },{\theta }_{1-\alpha /2}^{\ast }$的估计，得：
$$P\{{\theta }_{(k_1)}^{\ast }<\theta <{\theta }_{(k_2)}^{\ast }\}=1-\alpha$$
故，$\theta$的置信水平为$1-\alpha$的置信区间为$({\theta }_{(k_1)}^{\ast },{\theta }_{(k_2)}^{\ast })$，这种求置信区间的方法为分位数法

例7.15（用分位数法求总体均值 $\mu$ 和总体标准差 $\sigma$ 的置信水平为0.9的Bootstrap置信区间）

a=[9 8 10 12 11 12 7 9 22 8 9 7 7 8 9 7 9 9 10 9 9 9 12 10 10 9 13 11 13 9];
b=bootci(10000,{@(x)[mean(x),std(x)],a},'alpha',0.1)
%返回值b的第一列为均值的置信区间；第二列为标准差的置信区间
%ci=bootci(nboot,{bootfun,...},'alpha',alpha)命令是计算有函数bootfun定义的统计信息100*(1-alpha)启动置信区间
%nboot是一个正整数,指示计算中使用的引导样本数。bootfun是使用@指定的函数句柄。

• 参数Bootstrap法
   假设所研究的总体的分布函数$F(x;\beta )$的形式已知，但其中包含的未知参数$\beta$($\beta$可以是向量)。现在已知有一个来自$F(x,\beta )$的样本
  $$X_1,X_2,\cdots ,X_n$$
  利用此样本求出 $\beta$ 的最大似然估计 $\beta$。在$F(x,\beta )$中以$\beta$代替 $\beta$得到$F(x,\beta )$，接着在$F(x,\beta )$中产生容量为$n$的样本
  $$X_1^{\ast },X_2^{\ast },\cdots ,X_n^{\ast }\sim F(x,\beta )$$
  这种样本可以产生很多个，可产生$B(B\ge 1000)$个样本，利用这些样本对总体进行统计推断，其做法与非参数Bootstrap法相同。
  例7,16

a=[142.84 97.04 32.46 69.14 85.67 114.43 41.76 163.07 108.22 63.28];
eta=sqrt(mean(a.^2)) 
%求最大似然估计，先笔算出最大似然估计的函数方程，然后在MATLAB中写出这个函数。
%也可以用mle命令

beta=2;
B=500;
alpha=0.05;
b=wblrnd(eta,beta,[B,10]); 
%产生服从威布尔分布的随机数参数为eta,beta.B为指定随机数的个数，10为返回值b的列数

etahat=sqrt(mean(b.^2,2));
%计算每个样本对应的最大似然估计，返回每一行中元素均值的列向量

seta=sort(etahat); 
%将每个样本对应的最大似然估计按从小到大的顺序排列

k=floor(B*alpha);
 %求k1

se=seta(k)  
%找出第K位的最大似然估计值
rt0=exp(-(50/se)^2) 
%求对应的置信下限

例7.17

x0=[342 500 187];
theta=(x0(2)+2*x0(3))/2/sum(x0);   
%求最大似然估计量

fb=[(1-theta)^2,2*theta*(1-theta),theta^2];   
%求x0中各值的分布概率（题中已给概率的公式）

cf=cumsum(fb);                                 
%求fb的累计和,cumsum(2)=fb(1)+fb(2);cumsum(3)=fb(1)+fb(2)+fb(3)

a=rand(1029,1000);  
%产生一个1029*1000的随机数矩阵，每一列为1029个数，对应一个Bootstrap样本

jx1=(a<=cf(1));
%若样本的概率<cf(1)即有血型M的概率，则样本可能是M型，令其在jx1矩阵中为1

jx2=(a>cf(1)&a<=cf(2)); 
%同上理

jx3=(a>=cf(2));   
%同上理

x1=sum(jx1)      
%求和，即每一样本中血型为M型的人数
x2=sum(jx2)      
x3=sum(jx3)
theta2=(x2+2*x3)/1029/2;
stheta=sort(theta2);   
%将统计量按从小到大的顺序排列

qj=[stheta(50),stheta(950)] 
%提出置信区间的取值