一、数据的正态性检验
数据源：http://jse.amstat.org/datasets/normtemp.dat.txt
验证体温数据是否符合正态分布。
- scipy.stats.kstest
实验：
from scipy.stats import kstest
kstest(data['temperature'], 'norm', (data['temperature'].mean(), data['temperature'].std()))
返回值：
statistic = 0.065, pvalue = 0.645
value > 0.05, 认为假设正确，体温数据满足正态分布。
- 基础信息统计分析
均值=98.25，众数=98.0，中位数=98.3
偏态系数skew=-0.004
偏态系数约为0，基本符合正态分布。
- 数据分布形态
image
图中蓝色曲线为正态分布概率密度函数曲线，黄色柱状图为体温数据分布形态（体温-概率）。
从图中直观感觉体温数据符合正态分布（数据量较少，部分区段有缺失）。
【代码摘要】
import pandas as pd
import numpy as np
from scipy.stats import kstest
data = pd.read_csv('http://jse.amstat.org/datasets/normtemp.dat.txt', names = ['temperature', 'gender', 'heart_rate'], sep = '\s+')
# 1\. kstest
kstest(data['temperature'], 'norm', (data['temperature'].mean(), data['temperature'].std()))
# 2\. base analyze
data['temperature'].skew()
# 3\. plot
def norm_func(data):
mean = data.mean()
std = data.std()
pdf = np.exp(-((data - mean)**2)/(2*std**2)) / (std * np.sqrt(2*np.pi))
return pdf
data_normal = np.arange(data['temperature'].min(), data['temperature'].max()+ 0.01, 0.01)
p_normal = norm_func(data_normal)
plt.plot(data_normal, p_normal)
step = 0.01
bins_array = np.arange(data['temperature'].min(), data['temperature'].max() + step, step)
hist, bin_edges = np.histogram(data['temperature'], bins=bins_array)
hist = hist / sum(hist)
plt.bar(bins_array[:-1], hist, color = 'yellow', width = 0.1)
二、常见数据分布可视化
# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
from pylab import mpl
import numpy as np
from scipy import stats
mpl.rcParams['font.sans-serif'] = ['FangSong']
mpl.rcParams['axes.unicode_minus'] = False
# 伯努利分布
x = [0, 1]
p0 = 0.5
p = [p0, 1-p0]
plt.bar(x, p)
plt.xlabel('事件')
plt.ylabel('概率')
plt.title('伯努利分布概率分布')
# 二项分布
p = 0.5
n = 50
k = np.arange(0, n+1)
binomial = stats.binom.pmf(k, n, p)
plt.bar(k, binomial)
plt.xlabel('hit_times')
plt.ylabel('probability')
plt.title('二项分布概率分布')
# 泊松分布
lam = 5
x = np.random.poisson(lam = lam, size = 1000)
plt.hist(x, bins = 100)
# 均匀分布
def func_p_avg(x):
return 1 / (x.max() - x.min())
x = np.arange(1,10)
y = [func_p_avg(x)] * len(x)
plt.plot(x, y)
# 正态分布
mu = 0.0
sigma = 1.0
x = np.arange(-10, 10, 0.1)
y = stats.norm.pdf(x, mu, sigma)
plt.plot(x,y)
# beta分布
a = 0.5
b = 0.5
x = np.arange(0, 1, 0.01)
y = stats.beta.pdf(x, a, b)
plt.plot(x, y)