用python动手学统计学_3-4用python模拟抽样
用python模拟抽样
基于阿里云天池
3-4-1环境准备
#用于数值计算的库
import numpy as np
import pandas as pd
import scipy as sp
from scipy import stats
#用于绘图的库
from matplotlib import pyplot as plt
import seaborn as sns
sns.set()
#设置浮点数打印精度
%precision 3
#在jupyter notebook里显示图形
%matplotlib inline
3-4-2抽样过程
样本就是随机变量，它的取值会随机变化。
3-4-3在只有5条鱼的湖中抽样
使用numpy中的数组准备鱼的体长数据
fish_5 = np.array([2,3,4,5,6])
fish_5
# array([2, 3, 4, 5, 6])
np.random.choice
使用np.random.choice函数从5条鱼中随机抽取一部分，size=1表示将样本容设定为1，replace =False表示函数不重复选取相同的值
随机选取1条鱼
np.random.choice(fish_5,size = 1,replace= False)
# array([4])
随机选取3条鱼
np.random.choice(fish_5,size = 3,replace= False)
# array([6, 3, 2])
每次的结果都不想同，得到的是随机样本
随机种子
设置随机种子，每次执行的多得到的样本相同
np.random.seed(1)
np.random.choice(fish_5,size = 3,replace= False)
# array([4, 3, 6])
计算所得样本的平均值，即样本均值
np.random.seed(1)
sp.mean(np.random.choice(fish_5,size = 3,replace= False)
# array([4, 3, 6])
)
#4.333333333333333
3-4-4随机数
随机得到的数字叫做随机数。有些领域将其看作随机变量。模拟抽样也是一种生成随机数的过程。
3-4-5放回抽样、不放回抽样
把抽出的样本放回总体再重新抽样叫做放回抽样。抽出的样本不放回总体的抽样叫做不放回抽样。
指定参数replace = False的抽样就是不放回抽样。
3-4-6从鱼较多的湖中抽样
读入数据化为列联表
读入数据
fish_10000 = pd.read_csv(
"tongji_data/3-4-1-fish_length_100000.csv")["length"]
fish_10000.head()
# 0 5.297442
# 1 3.505566
# 2 3.572546
# 3 3.135979
# 4 4.689275
# Name: length, dtype: float64
计算个数
len(fish_10000)
# 100000
抽取十条鱼，使用np.random.choice(）
sampling_result = np.random.choice(
fish_10000,size = 10,replace = False)
sampling_result
# array([4.091, 5.465, 3.426, 4.287, 4.244, 4.282, 4.29 , 5.087, 2.769,
# 5.296])
最后计算样本均值
sp.mean(sampling_result)
#4.3235970793805025
3-4-7总体分布
均值,即总体分布
sp.mean(fish_10000)
# 4.000000000000001
总体的标准差
sp.std(fish_10000,ddof=0)
# 0.8
求方差
sp.var(fish_10000,ddof=0)
# 0.64
绘制总体的直方图
sns.distplot(fish_10000,kde=False,color='black')
均值为4、方差0.64
方差的公式：1-7上以0.1为公差的等差数列
3-4-8对比总体分布和正态分布的概率密度函数
准备1-7上以0.1为公差的等差数列
x = np.arange(start = 1,stop =7.1,step = 0.1)
x
# array([1. , 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2. , 2.1, 2.2,
# 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9, 3. , 3.1, 3.2, 3.3, 3.4, 3.5,
# 3.6, 3.7, 3.8, 3.9, 4. , 4.1, 4.2, 4.3, 4.4, 4.5, 4.6, 4.7, 4.8,
# 4.9, 5. , 5.1, 5.2, 5.3, 5.4, 5.5, 5.6, 5.7, 5.8, 5.9, 6. , 6.1,
# 6.2, 6.3, 6.4, 6.5, 6.6, 6.7, 6.8, 6.9, 7. ])
使用函数stats.norm.pdf计算概率密度。参数loc为均值，scale为标准差。
stats.norm.pdf(x = x,loc = 4,scale = 0.8)
# array([4.407e-04, 6.988e-04, 1.091e-03, 1.676e-03, 2.536e-03, 3.778e-03,
# 5.540e-03, 7.998e-03, 1.137e-02, 1.591e-02, 2.191e-02, 2.971e-02,
# 3.967e-02, 5.215e-02, 6.749e-02, 8.598e-02, 1.078e-01, 1.332e-01,
# 1.619e-01, 1.938e-01, 2.283e-01, 2.648e-01, 3.025e-01, 3.401e-01,
# 3.764e-01, 4.102e-01, 4.401e-01, 4.648e-01, 4.833e-01, 4.948e-01,
# 4.987e-01, 4.948e-01, 4.833e-01, 4.648e-01, 4.401e-01, 4.102e-01,
# 3.764e-01, 3.401e-01, 3.025e-01, 2.648e-01, 2.283e-01, 1.938e-01,
# 1.619e-01, 1.332e-01, 1.078e-01, 8.598e-02, 6.749e-02, 5.215e-02,
# 3.967e-02, 2.971e-02, 2.191e-02, 1.591e-02, 1.137e-02, 7.998e-03,
# 5.540e-03, 3.778e-03, 2.536e-03, 1.676e-03, 1.091e-03, 6.988e-04,
# 4.407e-04])
绘制概率密度函数
plt.plot(x,
stats.norm.pdf(x = x,loc = 4,scale = 0.8),
color = 'black')
是以均值为轴左右对称的平滑的概率分布
最后，把正态分布的概率密度图形和总体的直方图叠放
norm_hist = True，可以得到总面积为1的直方图
sns.distplot(fish_10000,kde=False,
norm_hist = True,color='black')
plt.plot(x,
stats.norm.pdf(x = x,loc = 4,scale = 0.8),
color = 'black')
3-4-9抽样过程的抽象描述
使用函数stats.norm.rvs函数。参数loc为均值，scale为标准差，size为样本容量。
sampling_norm = stats.norm.rvs(
loc = 4,scale = 0.8,size = 10)
sampling_norm
# array([4.037, 3.498, 4.322, 5.295, 5.499, 2.905, 4.437, 4.665, 3.786,
# 4.569])
样本均差
sp.mean(sampling_norm)
# 4.3014016645
3-4-10有限总体校正
1.严格来说正态分布的概率密度的图形和直方图不是完全等价。
假设总体分布为正态分布，这句话的含义是，假设总体为无限总体，组数有无穷多个，组的大小，组的大小也分得无穷习，则它的直方图和直方图不是完全等价的。
2.stats.norm.rvs函数生成随机数的过程却是从无限总体中进行抽样。要想基于有限总体，就需要进行有限总体校正。当总体容量远大于样本容量时，无需进行校正。
3-4-11假设总体服从正态分布是否恰当
严格来说，总体分布不是正态分布，但实践假设多会假设总体服从正态分布。
正态分布可以取负数。事实上，即使假定体长服从正态分布，它取负数的概率也小到可以忽略不计，因而可以大胆采用正态分布。
参考资料
[日] 马场真哉 著, 吴昊天 译. 用Python动手学统计学[M]. 1. 人民邮电出版社, 2021-06-01.
菜鸟网站python3