python长表转换宽表_Pandas数据变换-长宽表互换

最近工作中，有时会遇到数据转化的问题，这块知识之前掌握得比较零散，今天花时间整理了下

数据来源于下jizhang/pandas-tidy-data​github.com

一.层级索引

层级索引可以作为增加维度的方法,也是行列转换的关键，Pandas原有的数据类型包括Series,DataFrame

Series可以看成是一维数组+索引

DataFrame可以看成是多个Series组成的二维数组

那么如果用实现比二维更高的数据，就可以使用层次索引

例如,如果我们想用Series实现二维数据，可以增加一层索引

In[13]: data = {

('California', 2000): 33871648,

('California', 2010): 37253956,

('Texas', 2000): 20851820,

('Texas', 2010): 25145561,

('New York', 2000): 18976457,

('New York', 2010): 19378102

}

pd.Series(data)

Out[13]:

California 2000 33871648

2010 37253956

New York 2000 18976457

2010 19378102

Texas 2000 20851820

2010 25145561

dtype: int64

如果将元组作为键的字典传递给 Pandas，Pandas 也会默认转换为 MultiIndex，这也是创建层级索引的方式之一。

我们来看下index的两个重要属性:levels和names

以上述层级索引为例:

data.index.levels

#输出:FrozenList([['California', 'New York', 'Texas'], [2000, 2010]])

可以看出levels属性包含各等级索引的索引值，是个二维列表。例如其中['California', 'New York', 'Texas']就是一级索引levels[0]。

data.index.names

#FrozenList([None, None])

names属性包含每级索引的名字，上述为None，是因为还没命名。

可以通过rename方法为index命名

data.index.rename("city",level = 0,inplace = True)

data.index.rename("dt",level = 1,inplace = True)

data.index.names

#输出FrozenList(['city', 'dt'])

二.行列转换(长宽互换)

(1) stack和unstack

California 2000 33871648

2010 37253956

New York 2000 18976457

2010 19378102

Texas 2000 20851820

2010 25145561

以上述数据为例

new_df = pop.unstack()

new_df

unstack() 方法可以快速将一个多级索引的 Series 转化为普通索引的 DataFrame,stack则可以实现将列转化为索引。

来看个实际的行列互换的例子列转行

import pandas as pd

df = pd.read_csv('data/pew.csv')

df.head(10)

df = df.set_index('religion') #先把religion设为索引

df = df.stack() #将列转化为二级索引

df.index = df.index.rename('income', level=1) #二级索引命命

df.name = 'frequency'

df = df.reset_index() #将索引转化为Series

df.head(10)

上述转化，可以看作是宽表转长表，很好记忆，将一组具有相同特征的列，转化成一列，自然就变窄了，同时为了一一对应，需要和其他列做组合，就会变长。

行转列

我们现在将以上数据进行反转操作。

df = df.set_index(["religion", "income"])["frequency"] #设置层级索引

df = df.untack() #索引转列

三.melt和pivot_table

这里放两张图，原图来自Medium(高质量的英文网站)

pivot_table透视表操作就是长表转宽表

melt操作可以看作则是宽表转长表https://towardsdatascience.com/reshape-pandas-dataframe-with-pivot-table-in-python-tutorial-and-visualization-2248c2012a31​towardsdatascience.com