在数据分析过程中，首先就是对数据进行清洗和处理，而使用 python 进行处理的同学对 Pandas包肯定是再熟悉不过了。Pandas 的功能很强大，基本的数据处理操作都可以找到对应函数去使用。本文使用10个案例来说明其强大的解决问题的能力。
-
Case1 筛选
df = pd.DataFrame({'a':[np.nan,1,2],'b':[np.nan,np.nan,4]})
筛选a和b列都不为
nan的行,all(1)是指a和b列值都为nan:
df[df[['a','b']].isna().all(axis = 1)]
any 是指a, b两列任一个列值为nan：
df[df[['a','b']].isna().any(1)]
#或者
df[~df[['a','b']].isnull().all(axis = 1)]
-
Case 2 多行变多列
df = pd.DataFrame({
'Name':['Ringo','Ringo','Ringo','Ringo','Grace','Jerry','Jerry','Jerry'],
'ID':[101,101,201,201,305,404,404,404],
'Phone':['iPhone 5','iPhone 5 plus','iPhone X','Huawei','Xiaomi','One plus','iPhone 13','Nokia']
})
将其转成下表样式：
方案1，使用
unstack(), 个人推荐使用此方案：
(df.drop_duplicates(['Name','ID','Phone']) #去重
.assign(col=df.groupby(['Name','ID']).cumcount()+1) #添加一列col, cumcount 累加，统计相同name 和ID 数量
.set_index(['Name','ID','col'])['Phone']
.unstack().add_prefix('Phone-') #这里的prefix 可以自定义
.reset_index().fillna('')
)
方案2，使用pivot()，注意在pivot之前需要先设置multiple index：
pivot(columns = 'col',values= ['Phone])
以上是错误的示范！
(df.drop_duplicates(['Name','ID','Phone'])
.assign(col=df.groupby(['Name','ID'])
.cumcount()+1).set_index(['Name','ID'])
.pivot(columns='col')['Phone'].add_prefix('Phone-')
.reset_index().fillna('')
)
-
Case 3 查询包含指定字符的行Index
查询包含---bios---字符所在行。
df = pd.DataFrame({'A': ['xx', '--- bios ---', 'yy', 'zz', '--- os ---'],'B': ['rat', '', 'winter', 'host','']})
df[df.iloc[:,0].str.contains('--- bios ---')].index.values[0]
其中 df.iloc[:,0]用于遍列全部column内容。
-
Case 4 空白处填充前一行内容
df = pd.DataFrame({
'count':['yes','yes','total','yes','yes','total'],
'A':['1','2','','5','8','']
})
2个A列空白处分别填入上一行的 2和8。
df.loc[df['count']=='total','A'] = df['A'].where(df['A'].ne('')).ffill() #ne, not euqal
或
df.loc[df['count']=='total','A'] = df['A'].mask(df['A'].eq('')).ffill()
DataFrame.where(cond,other)
cond为True，保持原来的值，否则替换为other；
DataFrame.mask(cond,other)
cond为True, 使用other中的相应值替换；反之，保留原值。
-
Case 5 去重但保留最大值
df = pd.DataFrame({'month': [1, 1, 7, 10],
'year': [2012, 2012, 2013, 2014],
'type':['C','C','S','C'],
'sale': [55, 40, 84, 31]})
方案1，使用
groupby()筛选出最大值:
df.groupby(['month', 'year', 'type'])['sale'].max().reset_index()
方案2，先对sale列逆向排序，再使用drop_duplicates()方法去重：
df.sort_values('sale',ascending=False).drop_duplicates(['month','year','type']).sort_index().reset_index(drop=True)
输出结果如下
-
Case6 多列组合成一列
df['pk'] = df[column_list].astype(str).apply(''.join, axis=1)
举例说明：
df = pd.DataFrame({'File Type':['aa','bb'],
'Number of Records':[1,5],
'Indication':['ind1','ind2']
})
column_list1 = ['File Type', 'Number of Records']
column_list2 = ['File Type', 'Number of Records', 'Indication']
column_list3 = ['File Type']
df['pk1'] = df[column_list1].astype(str).agg(''.join, axis=1)
df['pk2'] = df[column_list2].astype(str).agg(''.join, axis=1)
df['pk3'] = df[column_list3].astype(str).agg(''.join, axis=1)
结果如下：
-
Case7 根据前一列填充后一列的
NaN
df = pd.DataFrame({
'comment':['good','bad','excellent','good','good'],
'result':['positive',np.nan,np.nan,np.nan,np.nan]
})
使用
map()，填充NaN:
df['result'] = df['result'].fillna(df['comment'].map({'good':'negative','bad':'positive'}))
要求NaN处使用上一行数据，再加10。
df = df.fillna(df.fillna(method='ffill').add(10))
-
Case8 检查列值是否唯一
keep ： {'first'，'last'，False}，默认为'first'
first：将重复项标记True为第一次出现的除外。
last：将重复项标记True为最后一次除外。
False：将所有重复项标记为True。
df['unique'] = ~df['Name'].duplicated(keep=False)
-
Case9 判断时间点所属时间段
0点到5点是凌晨，6-12点是指早上，12点到17点是下午，17点到24点是晚上。
df=pd.DataFrame({
'Date' :['2020-8-30','2020-10-30','2020-10-30','2020-11-01','2020-12-30'],
'Time':['05:38:45','06:58:11', '10:05:34', '13:07:57', '21:15:32'],
'Transaction':[4,2,3,1,1]
})
u = df.assign(Time=pd.to_timedelta(df['Time']))
bins = [0,6,12,17,24] # 指定多个区间
labels = ['凌晨','上午','下午','晚上']
u = u.assign(Time_Group=pd.cut(u['Time'],[pd.Timedelta(hours=i) for i in bins],
labels=labels))
-
Case 10 行内容炸裂成多列
u = df['want_split'].str.split(",").explode().str.split(":",expand=True)
out = df.join(u.set_index(0,append=True)[1].unstack())
第一个expand=True参数直接将分列后的结果转换成DataFrame。