Pandas学习 -变形
一、透视表
1. pivot
# 以ID为索引，性别为列，身高为值
df.pivot(index='ID',columns='Gender',values='Height').head()
trick one: 然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许values中出现重复的行列索引对（pair）
2. pivot_table
# 注意和pivot的区别，一个是方法一个是函数
pd.pivot_table(df,index='ID',columns='Gender',values='Height').head()
Pandas中提供了各种选项，下面介绍常用参数：
① aggfunc：对组内进行聚合统计，可传入各类函数，默认为’mean’
pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum']).head()
② margins：汇总边际状态
pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum'],margins=True).head()
#margins_name可以设置名字，默认为'All'
③ 行、列、值都可以为多级
pd.pivot_table(df,index=['School','Class'],
columns=['Gender','Address'],
values=['Height','Weight'])
3. crosstab（交叉表）
现在想要统计关于街道和性别分组的频数：
# 注意index和columns的传入值
pd.crosstab(index=df['Address'],columns=df['Gender'])
① values和aggfunc：分组对某些数据进行聚合操作，这两个参数必须成对出现
pd.crosstab(index=df['Address'],columns=df['Gender'],
values=np.random.randint(1,20,df.shape[0]),aggfunc='min')
② 除了边际参数margins外，还引入了normalize参数，可选’all’,‘index’,'columns’参数值
pd.crosstab(index=df['Address'],columns=df['Gender'],normalize='all',margins=True)
二、其他变形方法
1. melt
# melt是pivot的逆函数
df_m = df[['ID','Gender','Math']]
df_m.head()
df.pivot(index='ID',columns='Gender',values='Math').head()
2. 压缩与展开
（1）stack：这是最基础的变形函数，总共只有两个参数：level和dropna
df_s = pd.pivot_table(df,index=['Class','ID'],columns='Gender',values=['Height','Weight'])
df_s.groupby('Class').head(2)
df_stacked = df_s.stack()
df_stacked.groupby('Class').head(2)
(2) unstack：stack的逆函数，功能上类似于pivot_table
三、哑变量与因子化
1. Dummy Variable（哑变量）
df_d = df[['Class','Gender','Weight']]
df_d.head()
pd.get_dummies(df_d[['Class','Gender']]).join(df_d['Weight']).head()
# 可选prefix参数添加前缀，prefix_sep添加分隔符
2. factorize方法
该方法主要用于自然数编码，并且缺失值会被记做-1，其中sort参数表示是否排序后赋值
codes, uniques = pd.factorize(['b', None, 'a', 'c', 'b'], sort=True)
display(codes)
display(uniques)
四、问题与练习
- 问题
【问题一】 上面提到了许多变形函数，如melt/crosstab/pivot/pivot_table/stack/unstack函数，请总结它们各自的使用特点。
【问题二】 变形函数和多级索引是什么关系？哪些变形函数会使得索引维数变化？具体如何变化？
【问题三】 请举出一个除了上文提过的关于哑变量方法的例子。
【问题四】 使用完stack后立即使用unstack一定能保证变化结果与原始表完全一致吗？
【问题五】 透视表中涉及了三个函数，请分别使用它们完成相同的目标（任务自定）并比较哪个速度最快。
【问题六】 既然melt起到了stack的功能，为什么再设计stack函数？
- 练习
【练习一】 继续使用上一章的药物数据集：
(a) 现在请你将数据表转化成如下形态，每行需要显示每种药物在每个地区的10年至17年的变化情况，且前三列需要排序：
(b) 现在请将(a)中的结果恢复到原数据表，并通过equal函数检验初始表与新的结果是否一致（返回True）
【练习二】 现有一份关于某地区地震情况的数据集，请解决如下问题：
(a) 现在请你将数据表转化成如下形态，将方向列展开，并将距离、深度和烈度三个属性压缩：
(b) 现在请将(a)中的结果恢复到原数据表，并通过equal函数检验初始表与新的结果是否一致（返回True）
写在后面
没有应付了事的意思！
最近实在是有点忙，这个问题和练习后面会陆续补起来。