pandas常用技巧汇总

写在前面

这篇文章没有任何理论,只是记录一些可能用得上的技巧

参考:https://zhuanlan.zhihu.com/p/90925476

1、读取数据

read_csv参数解释

import pandas as pd
df = pd.read_csv("1.csv", header=0)

2、保存数据

指定编码格式,不然容易出现中文乱码
index=None:去掉索引

df.to_csv("filename.csv", encoding="utf_8_sig", index=None)

3、删除某一列/某一行【索引为0的行】

inplace: 默认为False,不修改原数据, 返回一个新数据,如果设置为True,则是修改原数据

df.drop(['列名'],axis=1,inplace=True)
df.drop(index=0,inplace=True)

4、连接多个dataframe

事先存在df1、df2、df3三个dataframe
指定axis=0表示列连接,axis=1,行连接

df = pd.concat([df1,df2,df3],axis=0)

5、取出指定列的数据

subData = df[['col1','col2','col3']]

6、将字符串转为浮点型或者整型

景:我拿到了一些销售数据,其中包含销售金额,和门店价格,但是数据是字符串形式的【标准的金额展示形式1,234.00 中间会有逗号分隔】

df['售价'] = df['售价'].str.replace(",","").astype(float)

7、分组->dataframe

参考:https://zhuanlan.zhihu.com/p/101284491
场景:统计公司下有多少分店及其销售额,分店存在重复的【因为存在货类字段,导致不同货类也会出现相同分店,所以出现分店重复】

  • reset_index():重置索引
  • 聚合之后未使用reset_index()
pgroup.agg({'售价':'sum'})

使用reset_index

pgroup.agg({'售价':'sum'}).reset_index()

这样之后就可以再在这基础上进行分组分析,最终得到如下代码

group = df.groupby(['分店所属公司','分店名']) # 这里我是用两列来做分组,根据自己的实际需求来实现
res = group.agg({'售价':'sum'}).reset_index().group("分店所屬公司").agg({'分店名':'count','售价':'sum'}).reset_index()
res.rename(columns={'分店所属公司':'公司', '分店名':'门店数', '售价':'销售额'}, inplace = True) # 替换列名
res

8、按条件提取

df = df[df['discount']<0.9]

可视化基础参考:https://zhuanlan.zhihu.com/p/35816296

9、解决可视化中文乱码问题

from pylab import mpl

#mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['font.sans-serif'] = ['Microsoft YaHei']    # 指定默认字体:解决plot不能显示中文问题
mpl.rcParams['axes.unicode_minus'] = False           # 解决保存图像是负号'-'显示为方块的问题

10、修改列名

df.rename(columns={'old_col1':'new_col1', 'old_col2':'new_col2', 'old_col3':'new_col3'}, inplace = True)

11、根据时间按周分组

参考:https://blog.csdn.net/weixin_26711425/article/details/109069732

# 因为在这里时间是字符串,所以需要先转换一下
dt["操作時間"] = pd.to_datetime(dt["操作時間"])
# 按周分组,下边这种操作是从已有日期中从周一开始,默认W是从周末开始【所以会导致,如果日期开始时间不是周一或者周末的,将导致无法选中】。
dtGroup = dt.groupby([pd.Grouper(key='操作時間', freq='W-MON')])

12、数据处理,去除空格

df.replace('\s+','',regex=True,inplace=True) 

13、读取分组数据

fg = df.groupby(['col1','col2',...])
for i, (group, dataframe) in enumerate(fg):
    print(group)

14、按指定条件替换数据

df.loc[df['分店']==0]="63998"

15、查看数据是否有nan等

# 查看每一列是否有NaN:
df.isnull().any(axis=0)
# 查看每一行是否有NaN:
df.isnull().any(axis=1)

# 查看所有数据中是否有NaN最快的:
df.isnull().values.any()

16、替换nan、inf

df.replace(np.nan, 0, inplace=True)
df.replace(np.inf, 0, inplace=True)

17、数据合并

参考:https://blog.csdn.net/qq_41853758/article/details/83280104

# df,right是分别两个dataframe,on:是指通过这两个dataframe中的哪个字段来连接,可以是多个字段
res = pd.merge(df, right, how='left', on="分店")

18、分组去重统计

group = df.groupby('col1')
group.agg({"col2":"count", "col3":pd.Series.nunique})

实例

# 加盟商数据文件 2020.csv
fc = pd.read_csv("franchise2020.csv",header=0)
fc1 = fc[['所属公司','区域名称','分店全称']]
fc1 = fc1.drop_duplicates(keep='first')
fcG = fc1.groupby('所属公司')
fcG.agg({"区域名称": pd.Series.nunique, "分店全称": pd.Series.nunique}).reset_index().to_csv("test.csv",encoding="utf-8-sig",index=None)

19、df.drop_duplicates去重

drop_duplicates(subset=['A','B'],keep='first',inplace=True)
代码中subset对应的值是列名,表示只考虑这两列,将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。

  • keep='first'表示保留第一次出现的重复行,是默认值。keep另外两个取值为"last"和False,分别表示保留最后一次出现的重复行和去除所有重复行。
  • inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本。

将副本赋值给dataframe:

data=data.drop_duplicates(subset=None,keep='first',inplace=False)
20、对数据进行排序
df.sort_values("col",ascending=False)
21、日期只要年月日
df['just_date'] = df['dates'].dt.date
22、agg函数的基础使用
group = df.groupby(['col1','col2'])
group.agg({"二级批发价":sum})

你可能感兴趣的:(pandas常用技巧汇总)