谢谢余博的指导，Daisy同学的作业也有所启发。
第5课 中心极限定理 & 区间估计
本课基本作业
用t分布求房屋平均面积在95%的置信区间，数据为house_size.csv
t分布求置信区间公式
本课进阶作业
output_9_0.png
分布用t分布和bootstrap方法求年均降雨量在95%的置信区间，数据为rainfall.csv，该数据是英国谢菲尔德气象台记录的从1983年到2015年间的降雨量。
课堂回顾
导入模块和配置图像属性
import scipy.stats
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%config InlineBackend.figure_format = 'retina'
标准正态分布
standard_norm = scipy.stats.norm
x = np.arange(-4, 4, 0.01)
plt.plot(x, standard_norm.pdf(x))
plt.show()
标准正态分布示例图
t分布
t_dist = scipy.stats.t
plt.plot(x, standard_norm.pdf(x), label='standard normal')
x = np.arange(-4, 4, 0.01)
plt.plot(x, t_dist.pdf(x, df=1), label='t distribution')
plt.legend()
plt.show()
自由度为1的t分布和标准正态分布对比
t_dist = scipy.stats.t
plt.plot(x, standard_norm.pdf(x), label='standard normal')
x = np.arange(-4, 4, 0.01)
plt.plot(x, t_dist.pdf(x, df=99), label='t distribution')
plt.legend()
plt.show()
自由度为99的t分布和标准正态分布对比
当自由度df大于等于30时，t分布和标准整体分布可看作是一样的。上图是自由度为99时的t分布和标准正态分布的对比
置信区间
导入住房面积数据
house = pd.read_csv('G:\Dropbox\data-analysis\lesson5\house_size.csv', header=None)
house_size = house.iloc[:,0]
print(list(house_size))
[314, 119, 217, 326, 342, 318, 130, 465, 383, 396, 507, 283, 250, 326, 279, 363, 229, 303, 367, 246, 247, 262, 209, 294, 112, 249, 354, 355, 272, 277, 377, 411, 223, 232, 445, 333, 336, 349, 611, 516, 233, 275, 395, 241, 127, 228, 305, 321, 235, 226, 288, 503, 305, 280, 318, 281, 227, 279, 171, 290, 336, 284, 380, 314, 316, 476, 309, 293, 160, 300, 319, 396, 275, 212, 344, 305, 280, 331, 359, 283, 136, 322, 359, 202, 188, 187, 457, 340, 262, 288, 318, 381, 289, 205, 373, 200, 320, 213, 261, 357]
基本作业代码及结果
定义计算t分布置信区间的函数
def ci_t(data, confidence):
sample_mean = np.mean(data)
sample_std = np.std(data)
sample_size = len(data)
df = len(data) - 1
alpha = (1 - confidence) / 2
t_score = scipy.stats.t.isf(alpha, df)
ME = t_score * sample_std / np.sqrt(sample_size)
lower_limit = sample_mean - ME
upper_limit = sample_mean + ME
return (lower_limit, upper_limit)
t分布函数房屋平均面积数据在95%的置信区间返回结果
ci_t(house_size, 0.95)
(283.28723911352608, 318.41276088647396)
进阶作业代码及结果
导入年平均降雨量数据
house = pd.read_csv('G:\Dropbox\data-analysis\lesson5\house_size.csv', header=None)
rainfall = pd.read_csv('G:\Dropbox\data-analysis\lesson5\\rainfall.csv', header=None)
rainfall.describe()
rainfall describe()返回结果
rainfall_volume = rainfall.iloc[:,0]
用之前定义的t分布函数年平均降雨量数据在95%的置信区间
返回结果如下
ci_t(rainfall_volume, 0.95)
(779.30082422089879, 820.88263442571781)
用bootstrap方法求年平均降雨量数据在95%的置信区间
sample_size = len(rainfall_volume)
sample_size
133
def bootstrap_mean(data):
# 从数据data中重复抽样，样本大小与data相同，并返回样本均值
return np.mean(np.random.choice(data, size=len(data)))
def draw_bootstrap(data, times=1):
#初始化长度为times的空数组
bs_mean = np.empty(times)
#进行多次（times次）抽样，将每次得到的样本均值存储在bs_mean中
for i in range(times):
bs_mean[i] = bootstrap_mean(data)
return bs_mean
调用bootstrap函数生成10000个样本均值并显示图形。bins取27根据Freedman–Diaconis rule推导而的。
General equation for Freedman–Diaconis rule
bs_mean = draw_bootstrap(rainfall_volume, 10000)
plt.hist(bs_mean, bins=27, normed=True, rwidth=0.9)
plt.show()
10000个年平均降雨量数据的直方图
找出2.5%和97.5%百分位对应的样本均值，即为年平均降雨量数据在95%的置信区间。
np.percentile(bs_mean, [2.5, 97.5])
array([ 779.5668609 , 820.81815789])