Pandas学习 - 分组

一、groupby函数

1. 分组函数的基本内容：

（a）根据某一列分组

grouped_single = df.groupby('School')

注意，这里的设置是没有显式的返回对象的，那么需要特殊的方法来调取结果。

# 找到分组变量值为S_1的记录
grouped_single.get_group('S_1').head()

（b）根据某几列分组

grouped_mul = df.groupby(['School','Class'])
# 即传入两个组值的索引，注意是圆括号
grouped_mul.get_group(('S_2','C_4'))

（c）组容量与组数

这里是给出方法来查看分组之后的一些元素：

# 单列分组容量
grouped_single.size()

# 多列分组容量
grouped_mul.size()

# 单列分组组数，注意没有()
grouped_single.ngroups
# 多列分组组数
grouped_mul.ngroups

（d）组的遍历

for name, group in grouped_single:
    print(name)
    display(group.head())

（e）level参数（用于多级索引）和axis参数

df.set_index(['Gender','School']).groupby(level=1,axis=0).get_group('S_1').head()

df.set_index(['Gender','School']).groupby(level=0,axis=0).get_group('M').head()

2. groupby对象的特点

（a）分组对象的head和first

# 返回每个组的前几行
grouped_single.head(2)
# 返回每个组的第一行
grouped_single.first()

（b）分组依据

df.groupby(np.random.choice(['a','b','c'],df.shape[0])).get_group('a').head()
# 相当于将np.random.choice(['a','b','c'],df.shape[0])当做新的一列进行分组

# 根据奇偶行分组
df.groupby(lambda x:'奇数行' if not df.index.get_loc(x)%2==1 else '偶数行').groups

（c）groupby的[]操作

# 查看两所学校中男女生分别均分是否及格
df.groupby(['Gender','School'])['Math'].mean()>=60

df.groupby(['Gender','School'])[['Math','Height']].mean()

（d）连续型变量分组

bins = [0,60,80,90,100]
cuts = pd.cut(df['Math'],bins=bins) 
df.groupby(cuts)['Math'].count()

二、聚合、过滤和变换

1. 聚合（Aggregation）

（a）常用聚合函数

mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max

（b）同时使用多个聚合函数

group_m = grouped_single['Math']
group_m.agg(['sum','mean','std'])

这里就是指对学校分组，然后计算Math的相关聚合统计量

可以进行重命名

# 利用元组进行重命名
# 元组内第一个是指新名字，第二个是指旧名字
group_m.agg([('rename_sum','sum'),('rename_mean','mean')])

# 指定哪些函数作用哪些列
grouped_mul.agg({'Math':['mean','max'],'Height':'var'})

（c）使用自定义函数

官方没有提供极差计算的函数，但通过agg可以容易地实现组内极差计算

grouped_single['Math'].agg(lambda x:x.max()-x.min())

（d）利用NamedAgg函数进行多个聚合

注意：不支持lambda函数，但是可以使用外置的def函数

def R1(x):
    return x.max()-x.min()
def R2(x):
    return x.max()-x.median()
grouped_single['Math'].agg(min_score1=pd.NamedAgg(column='col1', aggfunc=R1),
                           max_score1=pd.NamedAgg(column='col2', aggfunc='max'),
                           range_score2=pd.NamedAgg(column='col3', aggfunc=R2)).head()

2. 过滤（Filteration）

这里是筛选组

grouped_single[['Math','Physics']].filter(lambda x:(x['Math']>32).all()).head()

trick one: 内置函数all和any的区别
all 如果为空返回True，如果非空，全真为真 否则为假
any 有一个真为真

3. 变换（Transformation）

（a）传入对象

transform函数中传入的对象是组内的列，并且返回值需要与列长完全一致

grouped_single[['Math','Height']].transform(lambda x:x-x.min()).head()

（b）利用变换方法进行组内标准化

grouped_single[['Math','Height']].transform(lambda x:(x-x.mean())/x.std()).head()

（c）利用变换方法进行组内缺失值的均值填充

df_nan = df[['Math','School']].copy().reset_index()
# 随机将一部分Math值定为nan
df_nan.loc[np.random.randint(0,df.shape[0],25),['Math']]=np.nan
df_nan.head()

df_nan.groupby('School').transform(lambda x: x.fillna(x.mean())).join(df.reset_index()['School']).head()

四、apply函数

1. apply函数的灵活性
以分组的表传入apply中

① 标量返回值

df[['School','Math','Height']].groupby('School').apply(lambda x:x.min())

② 列表返回值

df[['School','Math','Height']].groupby('School').apply(lambda x:x-x.min()).head()

③ 数据框返回值

df[['School','Math','Height']].groupby('School')\
    .apply(lambda x:pd.DataFrame({'col1':x['Math']-x['Math'].max(),
                                  'col2':x['Math']-x['Math'].min(),
                                  'col3':x['Height']-x['Height'].max(),
                                  'col4':x['Height']-x['Height'].min()})).head()

2. 用apply同时统计多个指标

from collections import OrderedDict
def f(df):
    data = OrderedDict()
    data['M_sum'] = df['Math'].sum()
    data['W_var'] = df['Weight'].var()
    data['H_mean'] = df['Height'].mean()
    return pd.Series(data)
grouped_single.apply(f)

五、问题与练习

1.问题

【问题一】 什么是fillna的前向/后向填充，如何实现？

【问题二】 下面的代码实现了什么功能？请仿照设计一个它的groupby版本。

s = pd.Series ([0, 1, 1, 0, 1, 1, 1, 0])
s1 = s.cumsum()
result = s.mul(s1).diff().where(lambda x: x < 0).ffill().add(s1,fill_value =0)

【问题三】 如何计算组内0.25分位数与0.75分位数？要求显示在同一张表上。

【问题四】 既然索引已经能够选出某些符合条件的子集，那么filter函数的设计有什么意义？

【问题五】 整合、变换、过滤三者在输入输出和功能上有何异同？

【问题六】 在带参数的多函数聚合时，有办法能够绕过wrap技巧实现同样功能吗？