Pandas数据处理之数据透视表
3.10 数据透视表
数据透视表(pivot table) 是一种类似GroupBy的操作方法，常见于Excel中。数据透视表将每一列数据作为输入，输出将数据不断细分为多个维度累计信息的二维数据表。
3.10.1 演示数据透视表
示例将采用泰坦尼克号的乘客信息数据库来演示，可以在Seaborn程序库获取：
In [1]: import numpy as np
import pandas as pd
import seaborn as sns
titanic = sns.load_dataset('titanic')
In [2]: titanic.head()
Out[2]:
survived pclass sex age sibsp parch fare embarked class who adult_male deck embark_town alive alone
0 0 3 male 22.0 1 0 7.2500 S Third man True NaN Southampton no False
1 1 1 female 38.0 1 0 71.2833 C First woman False C Cherbourg yes False
2 1 3 female 26.0 0 0 7.9250 S Third woman False NaN Southampton yes True
3 1 1 female 35.0 1 0 53.1000 S First woman False C Southampton yes False
4 0 3 male 35.0 0 0 8.0500 S Third man True NaN Southampton no True
In [3]: titanic.shape
Out[3]:(891, 15)
这份数据包含了惨遭厄运的每位乘客的大量信息，包括性别(sex)、年龄(age)、船舱等级(class)和船票价格(fare).
3.20.2 使用groupby制作数据透视表
按照性别进行分组，研究性别与生还情况的关系：
In [4]: titanic.groupby("sex")["survived"].mean()
Out[4]:
sex
female 0.742038
male 0.188908
Name: survived, dtype: float64
从数据可以看出：有75%的女性被救，男性中只有19%被救。
如果我们进一步探索，同时观察不同性别与船舱等级的生还情况。根据GroupBy的操作流程,我们也能够实现想要的效果：将船舱等级与性别分组，然后选择生还状态列，应用均值累计函数，再将各组结果组合，最后通过行索引转列索引操作将最里层的行索引换成列索引，形成二维数组。
In [5]: titanic.groupby(["sex","class"])["survived"].mean()
Out[5]:
sex class
female First 0.968085
Second 0.921053
Third 0.500000
male First 0.368852
Second 0.157407
Third 0.135447
Name: survived, dtype: float64
In [6]: titanic.groupby(["sex","class"])["survived"].mean().unstack()
Out[6]:
class First Second Third
sex
female 0.968085 0.921053 0.500000
male 0.368852 0.157407 0.135447
但是相对于pandas李彤的pivot_table方法，语句要复杂一些。所以使用pivot_table来制作透视表。
3.10.3 数据透视表语法
DataFrame 的pivot_table 方法的完整签名如下所示：
DataFrame.pivot_table(data, values=None, index=None, columns=None,
aggfunc='mean', fill_value=None, margins=False,
dropna=True, margins_name='All')
- index : 透视表的行索引，必要参数，如果我们想要设置多层次索引，使用列表[ ]
- values ： 对目标数据进行筛选，默认是全部数据，我们可通过values参数设置我们想要展示的数据列
- columns :透视表的列索引，非必要参数，同index使用方式一样
- aggfunc ：对数据聚合时进行的函数操作，默认是求平均值，也可以sum、count等
- margins ：额外列，在最边上，默认是对行列求和
- fill_value : 对于空值进行填充
- dropna : 默认开启去重
下面我们来测试一下各个参数：
In [7]: titanic.pivot_table(index='sex', columns='class')
Out[7]:
adult_male age ····
class First Second Third First Second Third ····
sex
female 0.00000 0.000000 0.000000 34.611765 28.722973 21.750000 ····
male 0.97541 0.916667 0.919308 41.281386 30.740707 26.507589 ····
默认对所有列进行聚合，这时我们给与values参数，只计算我们想要的结果：
In [8]: agg = pd.cut(titanic["age"],[0,18,80]) # 对年龄数据列进行分段，便于观看
In [9]: titanic.pivot_table(index=['sex',age], columns='class',values=['survived','fare'])
Out[9]:
fare survived
class First Second Third First Second Third
sex age
female (0, 18] 127.474245 25.064286 17.370835 0.909091 1.000000 0.511628
(18, 80] 105.043469 21.224653 14.785453 0.972973 0.900000 0.423729
male (0, 18] 114.638320 26.116947 20.639055 0.800000 0.600000 0.215686
(18, 80] 68.877389 20.219593 10.022624 0.375000 0.071429 0.133663
在实际使用中，并不一定每次都要均值，这是我们可以使用aggfunc指定累计函数：
In [10]: titanic.pivot_table(index='sex', columns='class',aggfunc={'survived':sum, 'fare':'mean'})
Out[10]:
fare survived
class First Second Third First Second Third
sex
female 106.125798 21.970121 16.118810 91 70 72
male 67.226127 19.741782 12.661633 45 17 47
需要注意的是，这里忽略了一个参数values。当我们为aggfunc指定映射关系的时候，待透视的数据就已经确定了。
当需要计算每一组的总数时，可以通过margins 参数来设置：
In [11]: titanic.pivot_table('survived', index='sex', columns='class', margins=True)
Out[11]:
class First Second Third All
sex
female 0.968085 0.921053 0.500000 0.742038
male 0.368852 0.157407 0.135447 0.188908
All 0.629630 0.472826 0.242363 0.383838
margin 的标签可以通过margins_name 参数进行自定义，默认值是"All"。