python使用_pandas_用stack和unstack进行行列重塑（key-value变宽表）

数据结构的重塑（reshape）

与数据库交互时常遇到堆叠格式（key-value）和宽表形式(dataframe)的转换，如：

堆叠格式：

宽表形式dataframe：

下面是相互转换的示例代码：

import pandas as pd
import numpy as np


# 常用的表格形式的数据结构
df = pd.DataFrame(np.arange(6).reshape((2,3)), index=['id1','id2'], columns=['attr1','attr2','attr3'])
print(df)
out:
    attr1  attr2  attr3
id1      0      1      2
id2      3      4      5



# 宽表形式(dataframe)转变为堆叠形式（key-value）形式
# 数据库中常以该形式存储
df_key_value = df.stack().reset_index()
df_key_value.columns = ['id', 'attr', 'value']
print(df_key_value)
out:
id	attr	value
0	id1	attr1	0
1	id1	attr2	1
2	id1	attr3	2
3	id2	attr1	3
4	id2	attr2	4
5	id2	attr3	5


# 堆叠转换为宽表形式

# 用set_index创建层次化索引，在用unstack重塑
# unstack中作为旋转轴的变量（如attr），其值会作为列变量展开
df_key_value.set_index(['id','attr']).unstack('attr')
out:
value
attr	attr1	attr2	attr3
id			
id1	0	1	2
id2	3	4	5

# 多层索引转化为宽表
df_long = df_key_value.set_index(['id','attr']).unstack('attr')['value'].reset_index()
df_long
out:
attr	id	attr1	attr2	attr3
0	id1	0	1	2
1	id2	3	4	5

# 堆叠转换为宽表的快捷键---pivot
df_key_value.pivot('id','attr','value')
out:
attr	attr1	attr2	attr3
id			
id1	0	1	2
id2	3	4	5