由于本系列文章需要使用 Pandas 对胸罩销售数据进行分析,所以本文会介绍一下 Pandas,并给出一些案例如何通过 Pandas 分析数据,否则如果不了解 Pandas,可能无法理解后面文章的内容。
可能很多人一看到 Pandas,就会联想到中国的国宝大熊猫,其实 Pandas 在 Python 数据分析领域的确是一套国宝级的工具。Pandas 是基于 NumPy 的一套数据分析工具,该工具是为了解决数据分析任务而创建的,Pandas 纳入了大量标准的数据模型,提供了高效地操作大型数据集所需的工具,Pandas 提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使 Python 成为强大而高效的数据分析环境的重要因素之一。
Pandas 开发环境搭建
Pandas 是第三方程序库,所以在使用 Pandas 之前必须安装 Pandas。如果读者使用的是 Anaconda Python 开发环境,那么 Pandas 已经集成到 Anaconda 环境中了,不需要再安装;如果读者使用的是官方的 Python 开发环境,可以使用如下的命令安装 Pandas。
pip install pandas
如果要了解 Pandas 更详细的情况,请访问官方网站。
安装完 Pandas 后,可以测试一下 Pandas 是否安装成功,读者可以进入 Python 的 REPL 环境,然后使用下面的语句导入 Pandas 模块,如果不出错,就说明 Pandas 已经安装成功了。
import pandas
本文使用的样本数据集
本文会使用一个样本数据集为例来讲解如何用 Pandas 来分析数据,不过首先要先解释一下这个数据集中的数据,数据集的文件名是 gapminder.tsv,图1是数据集的部分数据和字段名。
图1 样本数据集的部分数据
这个样本数据集有近 2000 条数据,是 1952 到 2007 年世界各国经济发展的数据,每5年记录一次。每列直接用制表符分隔,这个数据集涉及到一些字段,现在来解释一下。
- Country:国家
- Continent:洲
- Year:年份
- LifeExp:预期寿命
- POP:人口
- GdpPercap:分均 GDP
如果用文本方式打开 gapminder.tsv 文件看着不舒服,也可以使用 Excel 打开这个文件,打开后的结果如图2所示。
图2 用 Excel 打开 gapminder.tsv 文件的效果
Pandas 基础知识
现在来介绍 Pandas 的一些基础知识,包括如何装载数据集、查看数据集的行和列、分组、可视化统计数据等。
(1)数据集的装载与基础操作
在分析数据之前,先要装载数据,因为为了提高数据分析效率,分析数据都是在内存中完成的。gapminder.tsv 文件是 CSV 格式的文件,所以需要使用 pandas 模块中的read_csv()
函数装载这个样本文件,并使用 sep 关键字参数指定分隔符,本例是制表符(\t)。
如果成功装载数据,read_csv()
函数会返回一个 DataFrame 对象,该对象提供了很多方法和属性,可以完成很多操作,通过 head 方法可以获取前5行的数据,通过 columns 属性可以获得样本数据的列。
下面的代码会使用read_csv()
函数装载了 gapminder.tsv 文件,并输出样本数据的前5行,然后会输出这个二维数据集的记录数和列数,最后会获取数据集的列信息。
# 使用Pandas之前必须先导入pandas模块
import pandas
# 装载gapminder.tsv文件
df = pandas.read_csv('gapminder.tsv',sep='\t')
# 输出df的数据类型
print(type(df))
# 获取数据集的前5行数据,如果要去前n行数据,需要将获取的数据行数传入head方法,
# 如df.head(10)会获取数据集的前10行数据
print(df.head())
# 获取二维表的维度(行和列)
print(df.shape)
# 获取数据集的列
print(df.columns)
# 对数据集的列进行迭代
for column in df.columns:
print(column,end = ' ')
程序运行结果如图3所示。
图3 输出数据集相关信息
从图3所示的输出信息可得知,这个数据集一共有1704行数据。
(2)查看数据集中的列
通过 DataFrame 对象可以非常容易地获取数据集指定列的数据,获取的方法与从字典中通过 key 检索 value 类似。假设 DF 是 DataFrame 类的实例,df['abc'] 就可以获取名为 abc 的列的所有数据,如果只获取一列的数据,可以使用 df['abc'],也可以使用 df[['abc']] 形式。前者返回的是 Series 对象,后者返回的是 DataFrame 对象。Series 对象可以看做是 Python 语言中的列表。也就是说,如果只是返回一列数据,可以是列表形式(Series),也可以是数据集形式(DataFrame)。如果要返回多列的数据,必须使用 df[['abc']] 形式,例如,获取名为 a 和 b 的两列数据,需要使用 df[['a', 'b']] 形式获取,返回的是 DataFrame 对象。
下面的代码获取了数据集的1列(country)和3列(country、continent 和 year)的数据,前者返回了 Series 对象,后者返回了 DataFrame 对象。
import pandas
# 装载gapminder.tsv文件
df = pandas.read_csv('gapminder.tsv',sep='\t')
# 获取country列的数据,返回Series对象
country_df = df['country']
# 获取country列前2行的数据
print(country_df.head(2))
# 获取country列最后2行的数据,如果不指定参数,会获取最后5行的数据
print(country_df.tail(2))
# 获取country、continent和year列的数据,返回DataFrame对象
subset = df[['country', 'continent', 'year']]
# 获得子数据集的前2行数据
print(subset.head(2))
# 获得子数据集的后2行数据
print(subset.tail(2))
程序运行结果如图4所示。
图4 查看数据集中的列数据
(3)查看数据集的行
查看数据集的行有两个方法:loc 和 iloc,这两个方法的功能相同,只是获取行的方式不同。loc 通过记录集的索引列获取行,索引列从0开始,不能为负数;而 iloc 方法获取行的方式与 Python 语言的列表相同个,可以用正索引,也可以用负索引(从-1开始)。
下面的代码通过 loc 方法获取了数据集第5行的数据,然后再通过 loc 方法获取了第3、5、6行的数据,最后使用 iloc 方法获取了数据集最后一行的数据。
import pandas
df = pandas.read_csv('gapminder.tsv',sep='\t')
# 输出地5行的数据
print(df.loc[4])
print('---------------')
# 输出地3、5、6行的数据
print(df.loc[[2,4,5]])
print('---------------')
# 输出最后一行的数据
print(df.iloc[-1])
程序运行结果如图5所示。
图5 查看数据集的行
从图5所示的输出结果可以看出,使用 loc[4] 形式输出的行数据其实是一个 Series 对象,所以输出的并不是二维表形式的数据集,而是有点像字典形式的数据,左侧是列名,右侧是列值。如果要按二维表形式输出,需要使用 loc[[4]] 获取指定的行。
(4)查看数据集单元格中的数据
如果在获取数据集的子数据集时,同时指定行和列,那么会解决数据集中间的一块数据,甚至可以获取某个单元格中的数据。
loc 方法与 iloc 方法都可以实现这个功能。例如,df.loc[1,'abc'] 同时指定了行和列,这条语句设置了第2行,列名为 abc 的列,所以这条语句会获取这个单元格中的数据。如果使用 iloc 方法,列要使用索引。例如,df.iloc[0:3,3:6] 指定了索引为 0、1、2 的行和列索引为 3、4、5 的列,所以使用这条语句可以获得3行3列共9个单元格的数据。
下面的代码通过 loc 方法和 iloc 方法同时指定行和列,获取数据集中间的一部分数据。
import pandas
df = pandas.read_csv('gapminder.tsv',sep='\t')
# 获取year列和pop列的所有数据
subset = df.loc[:,['year', 'pop']]
print(subset.head(2))
print('--------------------')
# 获取列索引为2、4、-1(最后一列)的列的所有数据
subset = df.iloc[:,[2,4,-1]]
print(subset.head(2))
print('--------------------')
# 获取列索引为3、4、5的列的所有数据
subset = df.iloc[:,3:6]
print(subset.head(2))
print('--------------------')
# 获取行索引为0、1、2,列索引为3、4、5的数据(9个单元格的数据)
subset = df.iloc[0:3,3:6]
print(subset)
print('--------------------')
# 获取行索引为1,列名为lifeExp的列的数据(一个单元格的数据)
subset = df.loc[1,'lifeExp']
# 运行结果:30.332
print(subset)
程序运行结果如图6所示。
图6 查看单元格的数据
(5)对数据集进行分组统计
对一个数据集进行分组是数据分析经常要做的工作,例如要得到每一年平均预期寿命,就需要按 year 列进行分组,然后对 lifeExp 取平均值,对数据集分组使用 groupby 方法,计算某一列的平均值用 mean 方法。
# 对year列分组,然后在组内对lifeExp列计算平均值
df.groupby('year')['lifeExp'].mean()
使用 nunique 方法可以计算分组后某个列的不同值的个数。
# 按continent列分组后,统计每一个continent含有多少个国家
df.groupby('continent')['country'].nunique()
下面的代码使用 groupby 对数据集的 year 列进行分组,按年统计出每一年的平均预期寿命(lifeExp),以及进行多列分组和多列计算平均值,最后使用 nunique 方法统计每一个洲共有多少个国家。
import pandas
df = pandas.read_csv('gapminder.tsv',sep='\t')
# 对预期寿命分组统计
print(df.groupby('year')['lifeExp'].mean().head(3))
print('-----------------')
# 多列分组统计
multi_group_var = df.groupby(['year','continent'])[['lifeExp','gdpPercap']].mean().head(3)
print(multi_group_var)
print('-----------------')
# 重置索引,让每一个行都显示行索引(从0开始)
print(multi_group_var.reset_index())
print('-----------------')
# 统计每一个洲有多少个国家
print(df.groupby('continent')['country'].nunique())
程序运行结果如图7所示。
(6)可视化统计数据
使用 Pandas 完成数据分析后,通常会用 Matplotlib 将分析结果展现出来,本节会用一个例子来演示一下如何将 Pandas 和 Matplotlib 结合到一起使用。
下面的代码使用 groupby 方法按年对数据集分组,分别计算每一年的预期寿命(lifeExp)和人均 GDP(gdpPercap),并使用 Matplotlib 绘制两条曲线,看一下 lifeExp 和 gdpPercap 逐年的变化趋势。
import pandas
import matplotlib.pyplot as plt
df = pandas.read_csv('gapminder.tsv',sep='\t')
# 统计每年的预期寿命(lifeExp)
global_yearly_life_expectancy = df.groupby('year')['lifeExp'].mean()
print(global_yearly_life_expectancy)
# 统计每年的人均GDP(gdpPercap)
multi_group_var = df.groupby('year')['gdpPercap'].mean()
print(multi_group_var)
fig,(ax1, ax2) = plt.subplots(1,2,figsize=(8,4))
# 绘制预期寿命变化曲线
ax1.plot(global_yearly_life_expectancy)
# 绘制人均GDP变化曲线
ax2.plot(multi_group_var)
plt.show()