pandas如何多行变一行(对文本进行拼接和聚合)?

1.场景介绍

有时候在进行汇总计算时,我们需要将处理前的数据转换为处理后的数据。
处理前:
pandas如何多行变一行(对文本进行拼接和聚合)?_第1张图片
处理后:
pandas如何多行变一行(对文本进行拼接和聚合)?_第2张图片

2.实现方法

提前做好数据准备工作:

import pandas as pd
#准备数据
df = pd.DataFrame({'姓名': ['A', 'A', 'B', 'B', 'C', 'C', 'C'],
                  '部门':['销售部', '销售部', '销售部', '销售部', '人事部', '人事部', '人事部'],
                  '管理区域':['华南', '华北', '华中', '华东', '华南', '华北', '华中']})
df

2.1 实现方法基础版

result=df.groupby(df['姓名']).agg(所在部门=('部门',lambda x:','.join(x.unique())),
    所管理区域=('管理区域',lambda x:','.join(x.unique()))).reset_index()

2.2 进一步探索

按照2.1里的方法我们就可以达到预期,但是当聚合的字段非常多的时候,我们就要面临写多个匿名函数的麻烦,不是很方便,那么该如何解决这个问题?

def string_concat(column_name,sep=','):
    return sep.join(column_name.unique())
result=df.groupby(df['姓名']).agg(所在部门=('部门',string_concat),
    所管理区域=('管理区域',string_concat)).reset_index()
result

2.3 再升级一下

基于2.2我们解决了重复写匿名函数的麻烦,但实际情况中,如果我们对多列采取不同的分隔符时,又不是很人性化,那又该如何解决这一问题?

def custome_str_cat(sep='|'):
    def str_cat(column_name):
        return sep.join(column_name.unique())
    if sep:
        return str_cat
result=df.groupby(df['姓名']).agg(所在部门=('部门', custome_str_cat('*')), 所管理区域=('管理区域',
                                                           custome_str_cat()), 所管理区域2=('管理区域', custome_str_cat('—'))).reset_index()

实现后效果图如下:
pandas如何多行变一行(对文本进行拼接和聚合)?_第3张图片

3.写在最后

以上就是关于文本类的聚合函数,相当于postgresql数据库中的string_agg函数,Oracle中的wm_concat函数,MySQL中的GROUP_CONCAT函数。那么如何在pandas中将一行转为多行?即将本篇文章中处理后的数据转为处理前的数据,可以参考本篇博客,传送门:https://blog.csdn.net/qq_41780234/article/details/121623812?spm=1001.2014.3001.5502

你可能感兴趣的:(pandas进行数据处理,pandas,文本聚合,自然语言处理)