假设检验3- 卡方分布
前言：
目录
一 卡方分布
二 双边假设检验
三 单边假设检验
四 例子
一 卡方分布
n 个随机变量均符合标准正态分布，则其平方和符合自由度为n的卡方分布
重要性质
二 双边检验
2.1 假设
2.2 统计量
2.3 拒绝域
k1 =chi2.ppf(alpha/2) k2=chi2.ppf(1-alpha/2)
其中： k1 可以通过
P值法
由于是双边检验
P_= 2*min(p,1-p)
三 单边检验
小写的s是样本方差
1： 左边检验
1.1 假设 
1.2 统计量
1.3 拒绝域
这里分位数代表下分位数，如果是上分位数写法为
1.4 P值法
2： 右边检验
2.1 假设
2.2 统计量
2.3 拒绝域
这里分位数代表下分位数，如果是上分位数写法为
2.4 P值法
四 例子：
4.1 
解：
这是左边检验
step1
step2 :统计量
统计量 14.57
step3: 在置信度为0.05，自由度为 24 情况下
分位数 13.848
step4
原假设成立
# -*- coding: utf-8 -*-
"""
Created on Sat Jul 31 10:26:06 2021
@author: chengxf2
"""
import numpy as np
from scipy.stats import chi2
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
'''
统计量
args
df: 自由度
s: 样本方差
sigma: 方差
'''
def GetZ(df,s,sigma):
z = df*s/sigma
return z
def GetQ(alpha, df):
q = chi2.ppf(alpha,df)# -*- coding: utf-8 -*-
"""
Created on Sat Jul 31 10:26:06 2021
@author: chengxf2
"""
import numpy as np
from scipy.stats import chi2
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
'''
统计量
args
df: 自由度
s: 样本方差
sigma: 方差
'''
def GetZ(df,s,sigma):
z = df*s/sigma
return z
def GetQ(alpha, df):
q = chi2.ppf(alpha,df)
return q
if __name__=="__main__":
n= 25
s= 4.25
df = n-1
sigma = 7
alpha = 0.05
z = GetZ(df,s,sigma)
q =GetQ(alpha, df)
print("\n 统计量 %5.2f"%z,"\t 分位数 %5.3f "%q)
if z>q:
print("\n 原假设成立 ")
else:
print("\n 拒绝原假设")
return q
if __name__=="__main__":
n= 25
s= 4.25
df = n-1
sigma = 7
alpha = 0.05
z = GetZ(df,s,sigma)
q =GetQ(alpha, df)
print("\n 统计量 %5.2f"%z,"\t 分位数 %5.3f "%q)
if z>q:
print("\n 原假设成立 ")
else:
print("\n 拒绝原假设")
4.2 鸢尾花 数据集种，每个维度归一化后，其平方和可以假设符合卡方分布
检验临界值法和P值法效果是否一样，找出分布异常的点。
解：
通过代码 ，其效果完全一致。
# -*- coding: utf-8 -*-
"""
Created on Fri Jul 30 16:39:08 2021
@author: chengxf2
"""
import numpy as np
from scipy.stats import chi2
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
'''
检验：
args
x_std: 每一列的数据都是标准的正太分布
'''
def check(x_std, alpha=0.01):
if alpha > 0.5:
print("\n ========error=========")
return
m, n = np.shape(x_std)
df = n # 自由度
low = chi2.ppf(alpha/2, df) # 左边拒绝域
up = chi2.ppf(1-alpha/2, df) # 右边拒绝域
for i in range(m):
x = x_std[i] # 样本
a = np.power(x, 2) # 样本平方
b = np.sum(a) # 随机变量的平方和符合卡方分布
# p = 2*chi2.sf(b,df) #1-CDF 累计积分 ,双边分布的p值法
p = chi2.cdf(b, df)
p_ = 2 * min(p, 1.0-p)
bReject_p = False
bReject_N = False
if p_ < alpha:
bReject_p = True
if b < low or b > up:
bReject_N = True
if bReject_p != bReject_N:
print("\n P值法 %4.3f i: %d " % (p, i))
'''
标准化
Args
data： 数据集
return
x_std: 样本标准化后的情况
u: 每个维度的均值
std: 每个维度的无偏标准差ddof = 0(n无偏);1(n-1)
'''
def standardization(data):
#x_std = StandardScaler().fit_transform(data)
scaler = StandardScaler().fit(data)
x_std = scaler.transform(data)
print("\n data ", np.shape(x_std))
u = scaler.mean_
sig = scaler.scale_
#print("\n 维度均值: ", u, "\t 维度方差 ", sig)
'''
m, n = np.shape(data)
for i in range(n):
x = data[:, i]
u = np.mean(x)
sigma = np.std(x,ddof=0)
print("\n i %d u: %5.2f sigma %5.3f" % (i, u, sigma))
'''
return x_std, u, sig
'''
均值方差归一化 Standardization
加载数据集
Args
None
iris: ['target_names', 'data', 'target', 'DESCR', 'feature_names']
return
'''
def LoadData():
data = load_iris()
feature = data['data']
m, n = np.shape(feature)
return feature
if __name__ == "__main__":
data = LoadData()
x_std = standardization(data)
check(x_std[0], 0.01)