概率分布的python实践

一、数据的正态性检验

数据源：http://jse.amstat.org/datasets/normtemp.dat.txt

验证体温数据是否符合正态分布。

1. scipy.stats.kstest

实验：

from scipy.stats import kstest

kstest(data['temperature'], 'norm', (data['temperature'].mean(), data['temperature'].std()))

返回值：

statistic = 0.065, pvalue = 0.645

value > 0.05, 认为假设正确，体温数据满足正态分布。

2. 基础信息统计分析

均值=98.25，众数=98.0，中位数=98.3

偏态系数skew=-0.004

偏态系数约为0，基本符合正态分布。

3. 数据分布形态

image

图中蓝色曲线为正态分布概率密度函数曲线，黄色柱状图为体温数据分布形态（体温-概率）。

从图中直观感觉体温数据符合正态分布（数据量较少，部分区段有缺失）。

【代码摘要】

import pandas as pd

import numpy as np

from scipy.stats import kstest

data = pd.read_csv('http://jse.amstat.org/datasets/normtemp.dat.txt', names = ['temperature', 'gender', 'heart_rate'], sep = '\s+')

# 1\. kstest

kstest(data['temperature'], 'norm', (data['temperature'].mean(), data['temperature'].std()))

# 2\. base analyze

data['temperature'].skew()

# 3\. plot

def norm_func(data):

    mean = data.mean()

    std = data.std()

    pdf = np.exp(-((data - mean)**2)/(2*std**2)) / (std * np.sqrt(2*np.pi))

    return pdf

data_normal = np.arange(data['temperature'].min(), data['temperature'].max()+ 0.01, 0.01)

p_normal = norm_func(data_normal)

plt.plot(data_normal, p_normal)

step = 0.01

bins_array = np.arange(data['temperature'].min(), data['temperature'].max() + step, step)

hist, bin_edges = np.histogram(data['temperature'], bins=bins_array)

hist = hist / sum(hist)

plt.bar(bins_array[:-1], hist, color = 'yellow', width = 0.1)

二、常见数据分布可视化

# -*- coding: utf-8 -*-

import matplotlib.pyplot as plt

from pylab import mpl

import numpy as np

from scipy import stats

mpl.rcParams['font.sans-serif'] = ['FangSong']

mpl.rcParams['axes.unicode_minus'] = False

# 伯努利分布

x = [0, 1]

p0 = 0.5

p = [p0, 1-p0]

plt.bar(x, p)

plt.xlabel('事件')

plt.ylabel('概率')

plt.title('伯努利分布概率分布')

# 二项分布

p = 0.5

n = 50

k = np.arange(0, n+1)

binomial = stats.binom.pmf(k, n, p)

plt.bar(k, binomial)

plt.xlabel('hit_times')

plt.ylabel('probability')

plt.title('二项分布概率分布')

# 泊松分布

lam = 5

x = np.random.poisson(lam = lam, size = 1000)

plt.hist(x, bins = 100)

# 均匀分布

def func_p_avg(x):

    return 1 / (x.max() - x.min())

x = np.arange(1,10)

y = [func_p_avg(x)] * len(x)

plt.plot(x, y)

# 正态分布

mu = 0.0

sigma = 1.0

x = np.arange(-10, 10, 0.1)

y = stats.norm.pdf(x, mu, sigma)

plt.plot(x,y)

# beta分布

a = 0.5

b = 0.5

x = np.arange(0, 1, 0.01)

y = stats.beta.pdf(x, a, b)

plt.plot(x, y)