1. groupby技术
groupby 是pandas 中非常重要的一个函数, 主要用于数据聚合和分类计算. 其思想是“split-apply-combine”（拆分 - 应用 - 合并）.
pandas groupby 的应用非常灵活, 但只要记住上面的核心思想-“split-apply-combine”, 就不难理解了. 我不太擅长解释这类概念性的东西, 直接看例子吧.
2. 例子
美国有一个数据是关于职业调查的. 可以通过下面的链接下载.
数据.
数据很简单, 稍微解释一下.
user_id age gender occupation zip_code
1 24 M technician 85711
2 53 F other 94043
3 23 M writer 32067
4 24 M technician 43537
5 33 F other 15213
user_id: id号
age: 年龄
gender: 性别
occupation: 职业
zip_code: 邮政编码, 通过邮政编码可获取所在城市
假设你已经下载并导入了上面的数据; 或者不需要下载, 直接用下面的代码读取远程的数据.
url = "https://raw.githubusercontent.com/justmarkham/DAT8/master/data/u.user"
df = pd.read_csv(url, sep="|")
那么, 怎么解决下面的问题呢?
- 如何找出每一种职业的平均年龄?并按照平均年龄从大到小排序?
- 分别找出男人和女人每种职业的人数?
- 更进一步, 如何找出男人和女人在不同职业的平均年龄?
如果能快速解决上面的三个问题, 说明初步掌握groupby. 使用pandas解决的方法可能有多种, 但是这里使用groupby还是比较方便的.
问题1 : 如何找出每一种职业的平均年龄?并按照平均年龄从大到小排序?
# 问题1, 一行代码即可搞定
df.groupby("occupation").age.mean().sort_values(ascending=False)
# output
occupation
retired 63.071429
doctor 43.571429
educator 42.010526
healthcare 41.562500
librarian 40.000000
administrator 38.746835
executive 38.718750
marketing 37.615385
lawyer 36.750000
engineer 36.388060
writer 36.311111
salesman 35.666667
scientist 35.548387
other 34.523810
technician 33.148148
programmer 33.121212
homemaker 32.571429
artist 31.392857
entertainment 29.222222
none 26.555556
student 22.081633
Name: age, dtype: float64
sort_value 是用来排序的. 主要看前面的 df.groupby("occupation").age.mean() , 还记得前面说的groupby的思想吗, “split-apply-combine”（拆分 - 应用 - 合并）.
首先df按照每一种occupation拆分成多个部分, 然后分别计算每种occupation的age的平均值.然后合并成一个Dataframe或者Series.
值得注意的是, groupby之后是一个对象, 知道应用一个函数之后才会变成一个Series或者Dataframe.
type(df.groupby("occupation"))
# output
pandas.core.groupby.groupby.DataFrameGroupBy
问题2 : 分别找出男人和女人每种职业的人数?
df.groupby(['occupation','gender']).size()
# Output
occupation gender
administrator F 36
M 43
artist F 13
M 15
doctor M 7
educator F 26
M 69
...
与前例稍微不同的是, 这次按照两个column, occupation和gender来进行group. 然后通过size计算每个职业指定性别的人数.
问题3 : 如何找出男人和女人在不同职业的平均年龄?
df.groupby(['occupation','gender']).age.mean()
# Output
occupation gender
administrator F 40.638889
M 37.162791
artist F 30.307692
M 32.333333
doctor M 43.571429
educator F 39.115385
M 43.101449
engineer F 29.500000
M 36.600000
...
groupby 详解
通过上面的例子, groupby 的基本应用应该已经讲清, 总而言之记住核心思想. 接下来详细的聊聊groupby的各种应用及细节.
首先来看看官方文档的参数描述.
DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, observed=False, **kwargs)
最常用的参数其实只有两个, by 跟 as_index, 其他的很少用到, 如果有需要用到的那就仔细阅读官方文档
by 就是我们上面用的, 可以是column, 但其实也可以是与df同行的Series.
as_index 是指是否将groupby的column作为index, 默认是True
对groupby对象应用自定义函数
上面我们都是以pandas自带的函数应用再group对象上的, 可不可以使用自定义的函数呢? 答案是可以的.先看下面的代码
demo = df[:5]
demo.groupby("gender").apply(lambda x: print(x))
# output
user_id age gender occupation zip_code
1 2 53 F other 94043
4 5 33 F other 15213
user_id age gender occupation zip_code
1 2 53 F other 94043
4 5 33 F other 15213
user_id age gender occupation zip_code
0 1 24 M technician 85711
2 3 23 M writer 32067
3 4 24 M technician 43537
也就是说, 其实groupby之后的dataframe是按照不同的值区分的. 这样我们就可以直接自定义函数来处理了. 如果你细心的话, 你会发现其中一个dataframe出现了两次, 这是apply 的设计问题.详情请看这里:https://stackoverflow.com/questions/21390035/python-pandas-groupby-object-apply-method-duplicates-first-group
未完待续...