Chi-squared test（卡方检验/χ2检验）

1. Chi-squared test（卡方检验/χ2检验）

1.1 概念

χ2检验是对分类数据的频数进行分析的统计方法。（统计学第六版 中国人女大学出版社 P216）

卡方检验是用途非常广的一种假设检验方法，它在分类资料统计推断中的应用，包括：两个率或两个构成比比较的卡方检验；多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。

1.2 用处

卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，卡方值越大，越不符合；卡方值越小，偏差越小，越趋于符合，若两个值完全相等时，卡方值就为0，表明理论值完全符合。

 

1.3 细节

观测数组和期望数组的和保持一致时，卡方检验才有意义，sparkmllib源码中会计算观测/期望的系数；然后将期望数组*系数。观测数组和期望数组长度相同且都为正值。

 

1.4 F值公式

1.5 P值计算

org.apache.spark.mllib.stat. Statistics.chiSqTest

1.6 MLlib算法

Spark mllib给出了Pearson'schi-squared test算法

org.apache.spark.mllib.stat.Statistics. chiSqTest