Pandas变形，透视表与stack
透视表与stack
一、透视表
1.pivot
一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols：
df.pivot(index='ID',columns='Gender',values='Height').head()
#ID，性别身高都是表中的列，根据性别不同分两列，表中内容为身高
pivot局限性强，功能较少，此外还不允许values出现重复的行列索引对，下面的语句会报错
#df.pivot(index='School',columns='Gender',values='Height').head()
即学校有相同的所以不能用
所以，有时候用更强大的pivot_table
2.povit_table
pd.pivot_table(df,index='ID',columns='Gender',values='Height')
%timeit pd.pivot_table(df,index='ID',columns='Gender',values='Height')
#前边加%timent计算速度，可以比较povit和povit_table的速度，后者远远慢于前者
（1）参数aggfunc，对组内进行聚合统计，可传入各类函数，默认为mean
pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum'])
（2）参数margins，汇总边际状态
加上margins=True，不仅统计出上图，且行列加上统计all
（3）行、列、值都可以为多级
pd.pivot_table(df,index=['School','Class'],
columns=['Gender','Address'],
values=['Height','Weight'])
3.crosstab（交叉表）
特殊的透视表，典型用途如分组统计（目前不支持多级分组）
pd.crosstab(index=df['Address'],columns=df['Gender'])
（1）参数values和aggfunc，分组对数据进行聚合操作，必须一起出现
（2）边际参数margins=True，nornalize参数，可选
normalize=‘all’
总之，还是pivot_table比较实用（支持多个目录列名多值），但是速度可能稍慢
二、其他变形方法
1.melt
melt函数可以认为是pivot函数的逆操作，将unstacked状态的数据，压缩成stacked，使“宽”的DataFrame变“窄”
df_m = df[['ID','Gender','Math']]
melt函数中的id_vars表示需要保留的列，value_vars表示需要stack的一组列
2.压缩与展开
（1）stack 最基础的变形函数，只有两个参数：level和dropna
df_s=pd.pivot_table(df,index=['Class','ID'],columns='Gender',values=['Height','Weight'])
df_s.groupby('Class').head(2)
df_stacked = df_s.stack()
df_stacked.groupby('Class').head(2)
stack可以看做将横向的索引防到纵向，功能类似melt，
参数level可指定变化的列索引是哪一层
df_stacked = df_s.stack(0)
df_stacked.groupby('Class').head(2)
（2）unstack：stack的逆函数，功能类似pivot_table
三、哑变量与因子化
1.哑变量
df_d = df[['Class','Gender','Weight']]#将这三列转为哑变量并加入weight数值
pd.get_dummies(df_d[['Class','Gender']]).join(df_d['Weight']).head()
#可选prefix参数添加前缀，prefix_sep添加分隔符
2.factorize方法
主要用于自然数编码，并且缺失值会被记做-1，其中sort参数表示是否排序后赋值
codes, uniques = pd.factorize(['b', None, 'a', 'c', 'b'], sort=True)
display(codes)
display(uniques)
