pandas技巧（一） | 不起眼的小方法，却有大作用 !

大家好，我是Cherish
使用 Pandas 已经快两年了，今天准备分享一篇关于数据处理的肝货！『偷懒小技巧 (*￣︶￣)』

pandas 是专门做数据处理的工具（它属于python里的一个工具包），里面提供了大量便捷的数据处理函数和方法，可以简单粗暴理解为和 Excel 实现的功能类似，只是实现方式不同。

『啥时候用pandas ，啥时候用excel？』

1、数据量大用pandas， 数据量小用excel
2、哪一个能快速解决问题，就用哪个
3、excel解决不了的用pandas，再者用python自定义函数

1、cut 方法：用来把一组数据分割成离散的区间

需求：新增一列根据 salary 将数据分为三组

结果：

实现方式：

bins = [0,5000, 20000, 50000]
group_names = ['低', '中', '高']
df['categories'] = pd.cut(df['salary'], bins, labels=group_names)
df

2、agg 方法：用来快速聚合计算，在特定列上应用一或多个函数（通常结合gruopby使用）

需求：①统计各部门员工最低和最高薪资以及年龄 ②分别统计薪资的平均数，最大值，年龄的中位数，最小值

结果：

实现方式：

import pandas as pd
dic = {'department':['人事部','人事部','财务部','技术部','财务部','技术部'],
      'salary':[3500,7500,8000,20000,7000,25500],
      'age':[23,28,30,26,35,38]}
df= pd.DataFrame(dic)
# 第一个需求实现代码：对所有字段使用统一的计算方式
df.groupby(df['department']).agg(['min','max'])
# 第二个需求实现代码，对不同字段使用不同的计算方式
df.groupby(df['department']).agg({'salary':['mean','max'],'age':['median','min']})

3、split方法和expand参数：用来把一列字符串字段分割为多列

需求：将地址拆分，生成市和区两列新数据

结果：

实现方式：

df = pd.DataFrame({'name':['cherish','linda','mark'],
                   'address':['北京-昌平区','上海-黄浦区','赤峰市-红山区']})
df1 = df.address.str.split('-', expand=True)
pd.concat([df['name'],df1],axis='columns')

4、transform方法：①快速修改全部数据②用来将统计出的数据与原始数据加工到一起，解决新旧数据的长度是不一样的问题

需求：①给表格全部数据加1 ②按照班级统计出学生的平均成绩，并创建新的一列

结果：

image.png

实现方式：

# 需求①
df = pd.DataFrame({'A': range(3), 'B': range(1, 4)})
print(df)
df.transform(lambda x : x+1)
# 需求②
dic = {'name':['cherish','lili','mary','mark'],
      'id':[1,2,3,4],
      'class':['01','01','02','02'],
      'code':[80,90,76,65],
      'date':['2017-10-01','2017-10-01','2017-11-03','2017-11-01']}
df = pd.DataFrame(dic)
print(df)
df1 = df.groupby('class')['code'].transform('mean')
pd.concat([df,df1],axis=1)

5、map方法：用来批量对一个DataFrame进行逐行、逐列和逐元素的操作

需求：将学生信息里的性别男改为1，性别女改为0

结果：

实现方式：

dic = {'name':['cherish','lili','mary','mark'],
      'sex':['男','男','女','女']}
df = pd.DataFrame(dic)
#实现方式①
df1 = df['sex'].map({'男':1,'女':0})
pd.concat([df,df1],axis=1)
# 实现方式②
#②使用函数
def my_gender_map(x):
    gender = 1 if x == "男" else 0
    return gender
#注意这里传入的是函数名，不带括号
data["gender"] = data["gender"].map(my_gender_map)

说明：map方法都是把对应的数据逐个当作参数传入到字典或函数中，得到映射后的值。

6、apply方法：它和map方法的原理和作用类似，区别在于apply能传入更为复杂的功能函数。

需求：将薪资转换成能计算的方式，并算出平均值

结果：

实现方式：

# 定义拆分的函数
def split_salary(salary,method):
    # 获取'-'的索引位置  10k-20K
    position = salary.upper().find('-')
    if position != -1:
        #salary值是15k-25k形式 
        low_salary = salary[0:position-1]
        high_salary= salary[position+1:len(salary)-1] 
    else:
        #salary值是15k以上形式
        low_salary = salary[:salary.upper().find('K')]
        high_salary= low_salary
        
    # 根据参数用以判断返回的值
    if method == 'low':
        return low_salary
    elif method == 'high':
        return high_salary
    elif method == 'avg':
        return (int(low_salary) + int(high_salary))/2

data['low_salary']=data.salary.apply(split_salary,method='low')
data['high_salary']=data.salary.apply(split_salary,method='high')
data['avg_salary']=data.salary.apply(split_salary,method='avg')
data.head()

说明：apply方法的第一个参数可以是函数（自定义或内置），第二个参数是参数1函数的对应参数（可选），apply实质上有点类似excel用的下拉修改整列值的功能，将自定义或内置函数，作用于一列数据的每个元素，最终实现批量处理。

7、applymap方法：用于对DataFrame中的每个单元格执行指定函数的操作

需求：将表格中全部数据保留两位小数点

结果：

实现方式：

df = pd.DataFrame(
    {
        "A":np.random.randn(5),
        "B":np.random.randn(5),
        "C":np.random.randn(5),
        "D":np.random.randn(5),
        "E":np.random.randn(5),
    }
)
print(df)
df.applymap(lambda x:"%.2f" % x)

8、 explode方法：用于将一行数据展开成多行。

需求：将包含多个编号的数据，展开成多行

结果：

实现方式：

id = ['a','b','c']
code = [4,6,[2,3,8]]
day = [1,1,1]
df1 = pd.DataFrame({'id':id, 'code':code, 'day':day})
df1.explode('code').reset_index(drop=True)

9、 concat方法：用于合并多张表的数据

需求：将两个表格上下合并（行）和左右合并(列)

结果：

实现方式：

# ①合并列
df1 = pd.DataFrame({'A': range(3), 'B': range(1, 4)})
df2 = pd.DataFrame({'C': range(3,6), 'D': range(5, 8)})
pd.concat([df1,df2],axis=1)
# ②合并行
df1 = pd.DataFrame({'A': range(3), 'B': range(1, 4)})
df2 = pd.DataFrame({'A': range(3,6), 'B': range(5, 8)})
pd.concat([df1,df2],axis=0)

10、 merge方法：类似于SQL中对两张表进行的join连接。

• how：指定连接方式。可以是inner, outer, left, right，默认为inner。
• on：指定连接使用的列（该列必须同时出现在两个DataFrame中,如果指定两个不同列名，可用left_on/right_on），默认使用两个DataFrame中的所有同名列进行连接。
• left_index / right_index：是否将左边（右边）DataFrame中的索引作为连接列，默认为False。
• suffixes：当两个DataFrame列名相同时，指定每个列名的后缀（用来区分），默认为x与y。

需求：查询两张表，同一日期都消费过的数据

结果：

实现方式：

df1=pd.DataFrame({"date":[2015,2017,2018,2019],"x1":[2000,5000,8000,10000]})
df2=pd.DataFrame({'date':[2017,2018],"y1":[1000,2000]})
display(df1,df2)
df3=df1.merge(df2,on="date")
display(df3)

以上就是对pandas的10个小技巧分享，如果你熟练使用起来会发现这些不起眼的小方法是真的很强大。