python操作excel_Python实现EXCEL常用操作——pandas简介

知乎的代码块太丑了，这里的内容就更新到简书了

Python实现EXCEL常用操作——pandas简介​www.jianshu.com

EXCEL是日常办公最常用的软件，然而遇到数据量特别大（超过10W条）或者需要很复杂的公式时就显得没那么方便了（卡卡卡），我也是被EXCEL折磨了很多次以后才决定学习Python，从此便一发不可收拾，深深的理解了那句话“Life is short, you need Python”，下面就总结一些python替代EXCEL的常用操作，方便大家学习，当然咯，EXCLE的功能特别多，所以帖子会持续更新。。。

本例数据集采用某地森林大火数据，共有13个特征，X和Y代表地理位置，month代表月份，day代表星期几，FFMC代表细小可燃物湿度码，DMC代表粗腐殖质湿度码,DC代表干旱码,ISI代表初始蔓延指数,temp代表温度,RH代表相对湿度,wind代表风速,rain代表降雨量，area代表地区，文件稍后会上传到百度云

一、打开文件

#导入相关库

1)源文件有列名

df 

2)若源文件没有列名

df

3）读取文件某几列

df=pd.read_csv(r'E:workdaimapythonforestfires.csv',nrows=5)  #只读前5行
df=pd.read_csv(r'E:workdaimapythonforestfires.csv',skiprows=[0,2,3]) #跳过第0,2,3行读取文件

二、数据基本处理

1）对列进行操作

print(df.columns)  #查看列名
print(df.dtypes)    #查看各列数据类型
print(df.head(20)) #查看前20行数据
df=df.loc[:,'FFMC':'rain']     #选择FFMC到rain列所有数据
df=df['new']=1.5                   #增加新列并赋值1.5
df=df.drop(['wind', 'rain', 'area'],axis=1)           #删除wind,rain和area三列

2）缺失值处理

df[df.isnull().values==True] #显示有缺失值的行
df['month'][df.month.isnull()]='U0' #month缺失值填充为U0
df['DC'][df.DC.isnull()]=df['DC'].median() #DC列缺失值填充为DC列的中位数
df.dropna()#删除含有缺失值的行
df.dropna(how='all')#只丢弃全为NA的那些行

3）计算某列变量频数

print(df['month'].unique())     #输出month列唯一值
print(df['month'].value_counts())   #输出month列各变量出现频数

4）移除重复数据

df_new=df.drop_duplicates(['month','day'])  #移除month和day列包含重复值得行，保留第一个
df_new=df.drop_duplicates(['month'],take_last=True )#移除month列包含重复值得行，保留最后一个

三、筛选

1）条件筛选loc

df_sel=df.loc[(df['month']=='aug') & (df['DC']>=600)] #筛选month列等于aug且DC列大于600的所有行

2）筛选并给新列赋值

这个多用于区间匹配，例如如果A列(0,100],C列为50；A列大于100 ,C列为A列的值

df.loc[(df['DC']>0) & (df['DC']<=100) ,'DC_na']=50 # 创建新列DC_na,DC列大于0且小于等于100，DC列为50
df.loc[df['DC']>100,'DC_na']=df['DC']# 创建新列DC_na,DC列大于100等于原值，其他为NA

3）模糊筛选/精确筛选：isin(),contains()

df_sel1=df[df['day'].str.contains('fr')]   # 筛选day列包含fr字符的行
df_sel2=df[df['day'].isin(['fri','mon'])]   # 筛选day列等于fri或mon的行

四、提取字符或数字

这个情况很多，涉及到很多正则表达式知识，今后会持续补充

df['xin']='U34' #增加新列，列名为xin,为新列赋值U34
df['zimu']=df['xin'].map(lambda s:re.compile("([0-9]+)").search(s).group())#提取数字
df['shuzi']=df['xin'].map(lambda s:re.compile("[a-zA-Z]+").search(s).group()[0])#提取字母

五、匹配

比如有以下两个数据集

df1 客户信息表

customer_id sex city
10084 男 北京
10085 女 上海
10086 男 广州
10087 女 深圳

df2订单表

order customer_id product shouru
CH0001 10086 A 500
CH0002 10086 B 200
CH0003 10085 C 1000
CH0004 10084 D 3000

1)左关联

df_merge=pd.merge(df1,df2,on='customer_id',how='left') #左关联
print(df_merge)

注意第三四列，与EXCEL匹配的逻辑稍有不同

2）根据多列进行左关联

这个暂时不举例了，遇到这种情况再说

pd.merge(df1,df2,on=['key1','key2'],how='left')#多键连接

六、聚合(数据透视表）

类似于数据透视表

类似于sumifs(),countifs(),averageifs()等函数的效果

1）聚合groupby()

df_group=df['DC'].groupby([df['month'],df['day']]) #根据month和day列对DC列进行聚合
df_fun=df_gorup.agg(['sum','mean','std']) #对df_group求和，均值和标准差
print(df_fun)

2）数据透视表pd.pivot_table()

这个函数比较难记，可以参考EXCEL数据透视表去理解，index代表列，columns代表行，values代表值，aggfunc代表要对值用什么函数，fil_value代表缺失值用0填充

df_toushi=pd.pivot_table(df,index=['month'],columns=['day'],
         values=['DC'],aggfunc=[np.sum,np.mean],fill_value=0)
print(df_toushi)

七、排序

按照DMC列降序，DC列升序对数据集进行排序

df_paixu=df.sort_values(by=['DMC','DC'],ascending=[0,1]) 

八、时间序列处理

注：源数据没有时间字段，本例进攻参考

csv中的时间会被读取为字符串，需要批量处理为pandas可处理的时间类型

df['date']=pd.to_datetime(df['createTime']) #批量转换createTime中的时间，并赋值到date列
df[(df['date']>='20140701')&(df['date']<='20140715')]#筛选指定时间段数据