卡方检验基本理论

卡方检验

  • 简介
  • χ 2 \chi^{2} χ2检验
    • 基本的步骤
    • 检验方法

简介

卡方检验是用途非常广的一种假设检验的方法,在分类资料统计推断中应用,包括两种形式:

  • 两个率或两个构成比比较的卡方检验
  • 多个率或者多个构成比比较的卡方检验以及分类资料的相关分析等等。

χ 2 \chi^{2} χ2检验

卡方检验就是对统计样本的实际观测值与理论推断值之间的偏离程度,实际观测值与理论推断值之间的偏离程度就是决定卡方值的大小。卡方值越大,二者偏差程度就会越大;反之,二者偏差程度越小;若两个值完全相等的时候,卡方值就会为0,表示理论值完全符合。

基本的步骤

  1. 提出基本假设:
    连续情况:设 H 0 H_{0} H0:总体 X X X的分布函数为 F ( x ) F(x) F(x)
    离散情况:假设变为 H 0 H_{0} H0:总体 X X X的分布律为 P { X = x k } = p k , k = 1 , 2 , … , N P\{X=x_{k}\}=p_{k},k=1,2,\dots,N P{ X=xk}=pk,k=1,2,,N.
  2. 将总体 X X X的取值范围分为 k k k个互不相交的小区间 A 1 , A 2 , … , A k A_{1},A_{2},\dots,A_{k} A1,A2,,Ak,例如可以取
    A 1 = ( a 0 , a 1 ] , A 2 = ( a 1 , a 2 ] , … , A k = ( a k − 1 , a k ] A_{1}=(a_{0},a_{1}],A_{2}=(a_{1},a_{2}],\dots,A_{k}=(a_{k-1},a_{k}] A1=(a0,a1],A2=(a1,a2],,Ak=(ak1,ak]
    其中 a 0 a_{0} a0可以取 − ∞ -\infty , a k a_{k} ak可以取 + ∞ +\infty +,区间的划分具体情况而定,但是要使得每一个小区间所包含的样本值个数不小于5,而区间个数k不要太大也不要太小。
  3. 把落入第 i i i个小区间的 A i A_{i} Ai所包含的样本值个数记作 f i f_{i} fi,成为组频数,所有的组频数之和 f 1 + f 2 + ⋯ + f k = n f_{1}+f_{2}+\dots+f_{k}=n f1+f2++fk=n, n n n为样本容量。
  4. H 0 H_{0} H0为真的时候,根据所假设的总体理论分布,可以计算出总体 X X X的值落入第 i i i个小区间 A i A_{i} Ai的概率 p i p_{i} pi,于是 n p i np_{i} npi就是落入第 i i i个小区间 A i A_{i} Ai的样本值的理论频数(理论值)。
  5. H 0 H_{0} H0假设为真的时候, n n n次实验中样本落入第 i i i个小区间 A i A_{i} Ai的频率 f i n \frac{f_{i}}{n} nfi与概率 p i p_{i} pi应该是非常接近的,当 H 0 H_{0} H0不真的时候,则 f i n \frac{f_{i}}{n} nfi p i p_{i} pi相差是很大的。基于这种思想,所以引入一下检验统计量
    χ 2 = ∑ i = 1 k ( f i − n p i ) 2 n p i \chi^{2}=\sum\limits_{i=1}^{k}\frac{(f_{i}-np_{i})^{2}}{np_{i}} χ2=i=1knpi(finpi)2

在假设 H 0 H_{0} H0假设成立的情况下服从自由度为 k − 1 k-1 k1的卡方分布。

检验方法

假设有两个分类变量 X X X Y Y Y,它们的值域分别为 { x 1 , x 2 } \{x_{1},x_{2}\} { x1,x2}, { y 1 , y 2 } \{y_{1},y_{2}\} { y1,y2},其样本频数列联表为

y 1 y_{1} y1 y 2 y_{2} y2 总计
x 1 x_{1} x1 a b a+b
x 2 x_{2} x2 c d c+d
总计 a+c b+d a+b+c+d

若要推断论述为 H 1 H_{1} H1: X X X Y Y Y有关系,可以利用独立性检验来考察两个变量之间是否有关系,并且能较为精确地给出这种判断的可靠程度。具体做法就是,由表中的数据计算出检验统计量 χ 2 \chi^{2} χ2的值。
可以使用概率拟合度公式 χ 2 = ∑ i = 1 k ( f i − n p i ) 2 n p i \chi^{2}=\sum\limits_{i=1}^{k}\frac{(f_{i}-np_{i})^{2}}{np_{i}} χ2=i=1knpi(finpi)2进行判断,或者是拟合度公式写作
χ 2 = n ( a d − b c ) 2 ( a + b ) ( c + d ) ( a + c ) ( b + d ) \chi^{2}=\frac{n(ad-bc)^{2}}{(a+b)(c+d)(a+c)(b+d)} χ2=(a+b)(c+d)(a+c)(b+d)n(adbc)2
自由度公式
v = C − 1 R − 1 v=\frac{C-1}{R-1} v=R1C1
这时候,自由度 v = C − 1 R − 1 = 1 v=\frac{C-1}{R-1}=1 v=R1C1=1,其中 C , R C,R C,R分别为行数和列数。

对于多个自由度变量的卡方检验公式如下所示
r r r c c c列卡方检验的卡方值为
χ 2 = n [ A 11 n 1 n 1 + A 12 n 1 n 2 + ⋯ + A r c n r n c − 1 ] \chi^{2}=n\left[\frac{A_{11}}{n_{1}n_{1}}+\frac{A_{12}}{n_{1}n_{2}}+\dots+\frac{A_{rc}}{n_{r}n_{c}}-1\right] χ2=n[n1n1A11+n1n2A12++nrncArc1]

应用条件:要求每个格子中的理论频数 T T T均大于 5 5 5 1 < T < 5 11<T<5的格子数不超过总格子数的 1 / 5 1/5 1/5。当有 T < 1 T<1 T<1 1 < T < 5 11<T<5的格子较多时,可采用并行并列、删行删列、增大样本含量的办法使其符合行×列表资料卡方检验的应用条件。而多个率的两两比较可采用行 X X X列表分割的办法。

你可能感兴趣的:(深度学习,数据分析,大数据)