【非参数统计03】两独立样本的位置和尺度推断：Brown-Mood中位数检验、Wilcoxon-Mann-Whitney秩和检验
目录导引
- 3 两独立样本数据的位置和尺度推断
-
- 3.1 Brown-Mood 中位数检验
-
- 3.1.1 精确分布
- 3.1.2 大样本场合
- 3.2 Wilcoxon-Mann-Whitney 秩和检验
-
- 3.2.1 无结点计算公式
- 3.2.2 有结点计算公式
- 3.2.3 M X − M Y M_X-M_Y MX−MY的点估计和区间估计
- 3.3 Mood 方差检验
- 3.4 Moses 方差检验
- 本章问题
这一个系列的笔记和整理希望可以帮助到正在学习非参数统计的同学。我会慢慢更新各个章节的内容。
3 两独立样本数据的位置和尺度推断
第二章我们主要考虑的是单一样本所属总体的推断，如总体位置估计。这一章是关于两个不同样本所属总体的位置参数或者尺度参数对比。
一般性的，
X 1 , X 2 , . . . , X m ∼ i . i . d . F 1 ( x − μ 1 σ 1 ) , Y 1 , Y 2 , . . . , Y n ∼ i . i . d . F 1 ( x − μ 2 σ 2 ) X_1,X_2,...,X_m \stackrel{i.i.d.}{\sim} F_1(\frac{x-\mu_1}{\sigma_1}),Y_1,Y_2,...,Y_n \stackrel{i.i.d.}{\sim} F_1(\frac{x-\mu_2}{\sigma_2}) X1,X2,...,Xm∼i.i.d.F1(σ1x−μ1),Y1,Y2,...,Yn∼i.i.d.F1(σ2x−μ2)
在只考虑位置参数问题的时候可以简化为
X 1 , X 2 , . . . , X m ∼ i . i . d . F ( x ) , Y 1 , Y 2 , . . . , Y n ∼ i . i . d . F ( x − μ ) X_1,X_2,...,X_m \stackrel{i.i.d.}{\sim} F(x),Y_1,Y_2,...,Y_n \stackrel{i.i.d.}{\sim} F(x-\mu) X1,X2,...,Xm∼i.i.d.F(x),Y1,Y2,...,Yn∼i.i.d.F(x−μ)
关于位置参数的检验问题是
H 0 : μ = 0 ↔ H 1 : μ ≠ 0 H_0: \mu=0\leftrightarrow H_1:\mu \neq 0 H0:μ=0↔H1:μ=0
这实际上可以理解为两个样本的中位数位置比较。3.1-3.2讨论这一问题
致于尺度参数问题，
H 0 : σ 1 = σ 2 ↔ H 1 : σ 1 ≠ σ 2 H_0: \sigma_1=\sigma_2 \leftrightarrow H_1:\sigma_1\neq \sigma_2 H0:σ1=σ2↔H1:σ1=σ2
3.3-3.4讨论这一问题
3.1 Brown-Mood 中位数检验
H 0 : m e d X = m e d Y ↔ H 1 : m e d X ≠ m e d Y H_0: med_X=med_Y \leftrightarrow H_1:med_X \neq med_Y H0:medX=medY↔H1:medX=medY
如果 H 0 H_0 H0成立，两样本的混合中位数 m e d X Y med_{XY} medXY也可以均匀地分隔开 { X i } i = 1 m , { Y i } i = 1 n \{X_i\}_{i=1}^m, \{Y_i\}_{i=1}^n { Xi}i=1m,{ Yi}i=1n两组样本。
检验关注 A A A的数值， A A A的意义是 { X i } i = 1 m \{X_i\}_{i=1}^m { Xi}i=1m在混合中位数右侧的个数，
- 如果 A A A很大，表示 { X i } i = 1 m \{X_i\}_{i=1}^m { Xi}i=1m的中位数明显大于 { Y i } i = 1 n \{Y_i\}_{i=1}^n { Yi}i=1n的，
- 如果 A A A很小，表示 { Y i } i = 1 n \{Y_i\}_{i=1}^n { Yi}i=1n的中位数显著大于 { X i } i = 1 m \{X_i\}_{i=1}^m { Xi}i=1m的。
3.1.1 精确分布
先补齐一个列联表，明确符号
| X | Y | sum | |
|---|---|---|---|
| > M X Y >M_{XY} >MXY | A | B | t |
| < M X Y |
C | D | (m+n)-(A+B) |
| sum | m | n | m+n |
原假设成立条件下， A A A服从超几何分布，精确概率如下
P ( A = k ) = ( m k ) 0. 5 m ( n t − k ) 0. 5 n ( m + n t ) 0. 5 m + n = ( m k ) ( n t − k ) ( m + n t ) P(A=k)=\frac{\tbinom{m}{k}0.5^{m} \tbinom{n}{t-k}0.5^{n}}{\tbinom{m+n}{t}0.5^{m+n}} = \frac{\tbinom{m}{k} \tbinom{n}{t-k}}{\tbinom{m+n}{t}} P(A=k)=(tm+n)0.5m+n(km)0.5m(t−kn)0.5n=(tm+n)(km)(t−kn)
其分母表示从 m + n m+n m+n个数中一共选了 t t t个放在混合中位数的右侧，着 t t t个的成份显然是分为从 m m m个 X i X_i Xi中选 k k k个， n n n个 Y i Y_i Yi中选 t − k t-k t−k个。
当然不一定要对中位数进行检验，也可以对任意分位数在两样本之间的位置关系进行检验，比如 M 0.75 M_{0.75} M0.75
P ( A = k ) = ( m k ) ( n t − k ) 0.2 5 t 0.7 5 m + n − t ( m + n t ) 0.2 5 t 0.7 5 m + n − t = ( m k ) ( n t − k ) ( m + n t ) \begin{aligned} P(A=k) &= \frac{\tbinom{m}{k}\tbinom{n}{t-k}0.25^{t}0.75^{m+n-t}}{\tbinom{m+n}{t}0.25^{t}0.75^{m+n-t}} \\ & = \frac{\tbinom{m}{k}\tbinom{n}{t-k}}{\tbinom{m+n}{t}} \end{aligned} P(A=k)=(tm+n)0.25t0.75m+n−t(km)(t−kn)0.25t0.75m+n−t=(tm+n)(km)(t−kn)
检验方向以及拒绝域
a a a是统计量实现值
- 备择假设 M X > M Y , p = P h y p e r ( A ⩾ a ) M_X>M_Y,\quad p=P_{hyper}(A\geqslant a) MX>MY,p=Phyper(A⩾a)，比实现值还大的概率
- 备择假设 M X < M Y , p = P h y p e r ( A ⩽ a ) M_X
- 备择假设 M X ≠ M Y , p = 2 min { P h y p e r ( A ⩾ a ) , P h y p e r ( A ⩽ a ) } M_X\neq M_Y,\quad p=2\min \{P_{hyper}(A\geqslant a),P_{hyper}(A\leqslant a)\} MX=MY,p=2min{ Phyper(A⩾a),Phyper(A⩽a)}
3.1.2 大样本场合
又来正态近似了，公式套用好就行。
Z = A − m t ( m + n ) m n t ( m + n − t ) / ( m + n ) 3 → L N ( 0 , 1 ) Z=\frac{A-mt(m+n)}{\sqrt{mnt(m+n-t)/(m+n)^3}} \stackrel{\mathcal{L}}{\to} N(0,1) Z=mnt(m+n−t)/(m+n)3A−mt(m+n)→LN(0,1)
小样本时的连续性修正
Z = A + C − m t ( m + n ) m n t ( m + n − t ) / ( m + n ) 3 → L N ( 0 , 1 ) Z=\frac{A+C-mt(m+n)}{\sqrt{mnt(m+n-t)/(m+n)^3}} \stackrel{\mathcal{L}}{\to} N(0,1) Z=mnt(m+n−t)/(m+n)3A+C−mt(m+n)→LN(0,1)
也是当统计量 A A A大于均值的时候取 C = 0.5 C=0.5 C=0.5，小于取 C = − 0.5 C=-0.5 C=−0.5
3.2 Wilcoxon-Mann-Whitney 秩和检验
介绍
Wilcoxon符号秩检验是符号检验的升级版，考虑了数据符号以外的信息。
Wilcoxon-Mann-Whitney秩和检验是Brown-Mood检验的升级版。
这里假设两个总体分布有类似的形状，不假定对称。 X 1 , X 2 , . . . , X m ∼ i . i . d . F ( x − μ 1 ) , Y 1 , Y 2 , . . . , Y n ∼ i . i . d . F ( x − μ 2 ) X_1,X_2,...,X_m \stackrel{i.i.d.}{\sim} F(x-\mu_1),Y_1,Y_2,...,Y_n \stackrel{i.i.d.}{\sim} F(x-\mu_2) X1,X2,...,Xm∼i.i.d.F(x−μ1),Y1,Y2,...,Yn∼i.i.d.F(x−μ2)
检验问题
H 0 : μ 1 = μ 2 ↔ H 1 : μ 1 ≠ μ 2 H_0:\mu_1=\mu_2\leftrightarrow H_1:\mu_1\neq \mu_2 H0:μ1=μ2↔H1:μ1=μ2
3.2.1 无结点计算公式
记 R i R_i Ri为 Y i Y_i Yi在这 m + n m+n m+n个数中的秩，令 I m , I n I_m,I_n Im,In分别表示两样本的指标集。
R i = # ( X j < Y i , j ∈ I m ) + # ( Y k ⩽ Y i , k ∈ I n ) R_i=\#(X_j < Y_i, j\in I_m) + \#(Y_k \leqslant Y_i,k\in I_n) Ri=#(Xj<Yi,j∈Im)+#(Yk⩽Yi,k∈In)
即代表两样本中不大于 Y i Y_i Yi的总量（注意后面取了不等号，是为了把自己 Y i Y_i Yi算一个人头进来）。对于所有 Y i Y_i Yi，可以定义 W Y = ∑ i = 1 n R i W_Y=\sum_{i=1}^n R_i WY=i=1∑nRi
这就是Wilcoxon秩和统计量
类似可以定义 W X W_X WX，显然在没有结点的时候
W X + W Y = ( n + m ) ( n + m + 1 ) 2 W_X+W_Y=\frac{(n+m)(n+m+1)}{2} WX+WY=2(n+m)(n+m+1)
而且
W Y = ∑ i = 1 n R i = ∑ i = 1 n [ # ( X j < Y i , j ∈ I m ) + # ( Y k ⩽ Y i , k ∈ I n ) ] = # ( X j < Y i , j ∈ I m , i ∈ I n ) + n ( n + 1 ) 2 = W X Y + n ( n + 1 ) 2 W X = ∑ i = 1 m R i = ∑ i = 1 m [ # ( Y i < X j , i ∈ I n ) + # ( X k ⩽ X j , k ∈ I m ) ] = # ( Y i < X j , j ∈ I m , i ∈ I n ) + m ( m + 1 ) 2 = W Y X + m ( m + 1 ) 2 \begin{aligned} W_Y &= \sum_{i=1}^n R_i \\ &= \sum_{i=1}^n [\#(X_j < Y_i, j\in I_m) + \#(Y_k \leqslant Y_i,k\in I_n)] \\ &= \#(X_j < Y_i, j\in I_m, i \in I_n)+\frac{n(n+1)}{2} \\ &= W_{XY}+\frac{n(n+1)}{2} \\ W_X &= \sum_{i=1}^m R_i \\ &= \sum_{i=1}^m [\#(Y_i < X_j, i\in I_n) + \#(X_k \leqslant X_j,k\in I_m)] \\ &= \#(Y_i < X_j, j\in I_m, i \in I_n)+\frac{m(m+1)}{2} \\ &= W_{YX}+\frac{m(m+1)}{2} \end{aligned} WYWX=i=1∑nRi=i=1∑n[#(Xj<Yi,j∈Im)+#(Yk⩽Yi,k∈In)]=#(Xj<Yi,j∈Im,i∈In)+2n(n+1)=WXY+2n(n+1)=i=1∑mRi=i=1∑m[#(Yi<Xj,i∈In)+#(Xk⩽Xj,k∈Im)]=#(Yi<Xj,j∈Im,i∈In)+2m(m+1)=WYX+2m(m+1)
这里涉及到的一个简便记法 W X Y W_{XY} WXY表示 X X X中小于 Y Y Y的观测值配数。
那么通过以上三个式子可以得到
W X Y + W Y X = ( n + m ) ( n + m + 1 ) 2 − m ( m + 1 ) + n ( n + 1 ) 2 W X Y + W Y X = m n \begin{aligned} W_{XY}+W_{YX} &= \frac{(n+m)(n+m+1)}{2} -\frac{m(m+1)+n(n+1)}{2} \\ W_{XY}+W_{YX} &= mn \\ \end{aligned} WXY+WYXWXY+WYX=2(n+m)(n+m+1)−2m(m+1)+n(n+1)=mn
在 H 0 H_0 H0下， W X Y , W Y X W_{XY},W_{YX} WXY,WYX同分布，是Mann-Whitney统计量，显然Wilcoxon秩和统计量与此有着固定关系，等价，故也称Wilcoxon-Mann-Whitney统计量。Mann-Whitney统计量 W X Y W_{XY} WXY甚至可以化为 U U U统计量，故也称Mann-Whitney-U统计量。
R i R_i Ri的性质
（这里有点奇怪的是， R i R_i Ri是包括所有 n + m n+m n+m个的哈，没有把 X Y X Y XY分开）
概率分布： P ( R i = k ) = 1 n + m P(R_i=k)=\frac{1}{n+m} P(Ri=k)=n+m1
联合分布： P ( R i = k , R j = l ) = 1 ( n + m ) ( n + m − 1 ) , k ≠ l P(R_i=k,R_j=l)=\frac{1}{(n+m)(n+m-1)},k\neq l P(Ri=k,Rj=l)=(n+m)(n+m−1)1,k=l
期望： E ( R i ) = ∑ k = 1 n + m k × P ( R i = k ) = 1 n + m ( n + m ) ( n + m + 1 ) 2 = n + m + 1 2 \begin{aligned} E(R_i)&=\sum_{k=1}^{n+m}k\times P(R_i=k) \\ &=\frac{1}{n+m}\frac{(n+m)(n+m+1)}{2} = \frac{n+m+1}{2} \end{aligned} E(Ri)=k=1∑n+mk×P(Ri=k)=n+m12(n+m)(n+m+1)=2n+m+1
方差：
v a r ( R i ) = E ( R i 2 ) − [ E ( R i ) ] 2 = ∑ k = 1 n + m k 2 × P ( R i = k ) − ( n + m + 1 2 ) 2 = ( n + m ) ( n + m + 1 ) ( 2 n + 2 m + 1 ) 6 1 n + m − ( n + m + 1 ) 2 4 = ( n + m ) 2 − 1 12 \begin{aligned} var(R_i)&=E(R_i^2)-[E(R_i)]^2\\ &=\sum_{k=1}^{n+m}k^2\times P(R_i=k)-(\frac{n+m+1}{2})^2\\ &= \frac{(n+m)(n+m+1)(2n+2m+1)}{6}\frac{1}{n+m}-\frac{(n+m+1)^2}{4}\\ &=\frac{(n+m)^2-1}{12} \end{aligned} var(Ri)=E(Ri2)−[E(Ri)]2=k=1∑n+mk2×P(Ri=k)−(2n+m+1)2=6(n+m)(n+m+1)(2n+2m+1)n+m1−4(n+m+1)2=12(n+m)2−1
协方差： c o v ( R i , R j ) = E ( R i R j ) − E ( R i ) E ( R j ) = − n + m + 1 12 , i ≠ j \begin{aligned} cov(R_i,R_j)&=E(R_iR_j)-E(R_i)E(R_j) \\ &= -\frac{n+m+1}{12},i\neq j \end{aligned} cov(Ri,Rj)=E(RiRj)−E(Ri)E(Rj)=−12n+m+1,i=j
W Y , W X Y W_Y,W_{XY} WY,WXY的性质
E ( W Y ) = E ( ∑ i = 1 n R i ) = n E ( R i ) = n ( n + m + 1 ) 2 E(W_Y)=E(\sum_{i=1}^n R_i)=nE(R_i)=\frac{n(n+m+1)}{2} E(WY)=E(i=1∑nRi)=nE(Ri)=2n(n+m+1)
v a r ( W Y ) = v a r ( ∑ i = 1 n R i ) = n × v a r + n ( n − 1 ) c o v = n m ( n + m + 1 ) 12 var(W_Y)=var(\sum_{i=1}^n R_i)=n\times var+n(n-1)cov=\frac{nm(n+m+1)}{12} var(WY)=var(i=1∑nRi)=n×var+n(n−1)cov=12nm(n+m+1)
E ( W X Y ) = E ( W Y ) − n ( n + 1 ) 2 = m n 2 E(W_{XY})=E(W_Y)-\frac{n(n+1)}{2}=\frac{mn}{2} E(WXY)=E(WY)−2n(n+1)=2mn
v a r ( W X Y ) = v a r ( W Y ) = n m ( n + m + 1 ) 12 var(W_{XY})=var(W_Y)=\frac{nm(n+m+1)}{12} var(WXY)=var(WY)=12nm(n+m+1)
有了W-M-W统计量的期望方差，就可以在 n . m → ∞ , m m + n → λ , 0 < λ < 1 n.m\to \infty,\frac{m}{m+n}\to \lambda, 0<\lambda <1 n.m→∞,m+nm→λ,0<λ<1的条件下有近似标准正态统计量
Z = W X Y − m n 2 n m ( n + m + 1 ) 12 → L N ( 0 , 1 ) Z = W Y − n ( m + n + 1 ) 2 n m ( n + m + 1 ) 12 → L N ( 0 , 1 ) Z=\frac{W_{XY}-\frac{mn}{2}}{\sqrt{\frac{nm(n+m+1)}{12}}} \stackrel{\mathcal{L}}{\to} N(0,1) \\ Z=\frac{W_{Y}-\frac{n(m+n+1)}{2}}{\sqrt{\frac{nm(n+m+1)}{12}}} \stackrel{\mathcal{L}}{\to} N(0,1) Z=12nm(n+m+1)WXY−2mn→LN(0,1)Z=12nm(n+m+1)WY−2n(m+n+1)→LN(0,1)
检验方向以及拒绝域
以 W X Y , W Y X W_{XY},W_{YX} WXY,WYX为例，总之秩小的一方倾向于有更小的 M M M
- H 1 : M X > M Y , p = P ( K ⩽ Z ( W X Y ) ) H_1:M_X>M_Y, \quad p=P(K\leqslant Z(W_{XY})) H1:MX>MY,p=P(K⩽Z(WXY))
- H 1 : M X < M Y , p = P ( K ⩽ Z ( W Y X ) ) H_1:M_X
- H 1 : M X > M Y , p = 2 P ( K ⩽ Z ( m i n ( W X Y , W Y X ) ) ) H_1:M_X>M_Y, \quad p=2P(K\leqslant Z(min(W_{XY},W_{YX}))) H1:MX>MY,p=2P(K⩽Z(min(WXY,WYX)))
这上面给的不唯一！完全可以把比如说第一个的换成
p = P ( K ⩾ Z ( W Y X ) ) p = P ( K ⩽ Z ( W Y ) ) p = P ( K ⩾ Z ( W X ) ) \begin{aligned} p&=P(K\geqslant Z(W_{YX})) \\ p&=P(K\leqslant Z(W_Y)) \\ p&=P(K\geqslant Z(W_{X})) \end{aligned} ppp=P(K⩾Z(WYX))=P(K⩽Z(WY))=P(K⩾Z(WX))
3.2.2 有结点计算公式
有结点的通通对分母进行微小的调整就好了
Z = W X Y − m n 2 n m ( n + m + 1 ) 12 − m n ( ∑ i = 1 g τ i 3 − ∑ i = 1 g τ i ) 12 ( m + n ) ( m m + n − 1 ) → L N ( 0 , 1 ) Z=\frac{W_{XY}-\frac{mn}{2}}{\sqrt{\frac{nm(n+m+1)}{12}-\frac{mn(\sum_{i=1}^g \tau_i^3-\sum_{i=1}^g\tau_i)}{12(m+n)(mm+n-1)}}} \stackrel{\mathcal{L}}{\to} N(0,1) Z=12nm(n+m+1)−12(m+n)(mm+n−1)mn(∑i=1gτi3−∑i=1gτi)WXY−2mn→LN(0,1)
3.2.3 M X − M Y M_X-M_Y MX−MY的点估计和区间估计
- 点估计： 这玩意儿的点估计只要把 X , Y X,Y X,Y样本单元分别配对相减， m n mn mn对，计算其中位数。
- 区间估计： b o o t s t r a p bootstrap bootstrap重复估计 M X , M Y M_X,M_Y MX,MY，相减得到 B o o t s t r a p θ ^ ∗ Bootstrap \hat \theta^* Bootstrapθ^∗，求方差再配合点估计给出置信区间
- 区间估计：把两两配对做差之后的 D i , i = 1 , 2 , . . . , n m D_i,i=1,2,...,nm Di,i=1,2,...,nm升序排列，找到合适的位置，选出 ( D W α 2 , D m n + 1 − W α 2 ) (D_{W_{\frac{\alpha}{2}}}, D_{mn+1-W_{\frac{\alpha}{2}}}) (DW2α,Dmn+1−W2α)
3.3 Mood 方差检验
有关尺度参数对比，日后更新
3.4 Moses 方差检验
有关尺度参数对比，日后更新
本章问题
- c o v ( R i , R j ) cov(R_i,R_j) cov(Ri,Rj)怎么算