5 用Pandas库处理数据（透视表和交叉表）
1. 透视表
将DataFrame的列分别设置为行索引和列索引，然后对指定的列应用聚集函数，默认执行mean平均值。
格式：pivot_table(data: 'DataFrame', values=None, index=None, columns=None, aggfunc: 'AggFuncType' = 'mean', fill_value=None, margins: 'bool' = False, dropna: 'bool' = True, margins_name: 'str' = 'All', observed: 'bool' = False, sort: 'bool' = True)
参数说明：
- data：DataFrame对象；
- values：要聚合的列，相当于“值”；
- index：聚合值的分组，相当于“行”；
- columns：聚合值的分组，相当于是"列"；
- aggfunc ：应用的聚合函数，默认函数是均值，还可以是其他的比如；
- fill_value：有时候聚合结果里出现了NaN，想替换成0时，可以设fill_value=0；
- margins：默认为False，添加所有行或列的小计/总计时为True；
- dropna : 默认为True，跳过整行都是空缺值的行；
- margins_name：当margins设置为True时，设置总计的名称，默认是“ALL”；
- observed：这只适用于任何一个组属于分类的情况，如果为True：仅显示类别分组的观察值，如果为False：显示类别分组的所有值；
- sort：默认为True，指定是否应对结果进行排序。
这是官网给出的例子：
import pandas as pd
import numpy as np
df = pd.DataFrame({"A": ["foo", "foo", "foo", "foo", "foo",
"bar", "bar", "bar", "bar"],
"B": ["one", "one", "one", "two", "two",
"one", "one", "two", "two"],
"C": ["small", "large", "large", "small",
"small", "large", "small", "small",
"large"],
"D": [1, 2, 2, 3, 3, 4, 5, 6, 7],
"E": [2, 4, 5, 5, 6, 6, 8, 9, 9]})
print(df)
'''
A B C D E
0 foo one small 1 2
1 foo one large 2 4
2 foo one large 2 5
3 foo two small 3 5
4 foo two small 3 6
5 bar one large 4 6
6 bar one small 5 8
7 bar two small 6 9
8 bar two large 7 9
'''
table = pd.pivot_table(df, values='D', index=['A', 'B'],
columns=['C'], aggfunc=np.sum)
print(table)
'''
C large small
A B
bar one 4.0 5.0
two 7.0 6.0
foo one 4.0 1.0
two NaN 6.0
'''
table_1 = pd.pivot_table(df, values='D', index=['A', 'B'],
columns=['C'], aggfunc=np.sum, fill_value=0)
print(table_1)
'''
C large small
A B
bar one 4 5
two 7 6
foo one 4 1
two 0 6
'''
table_2 = pd.pivot_table(df, values=['D', 'E'], index=['A', 'C'],
aggfunc={'D': np.mean,
'E': [min, max, np.mean]})
print(table_2)
'''
D E
mean max mean min
A C
bar large 5.500000 9 7.500000 6
small 5.500000 9 8.500000 8
foo large 2.000000 5 4.500000 4
small 2.333333 6 4.333333 2
'''分析得到的table（太神奇了！），其他的结果是类似的。
2. 交叉表
用于统计分组频率的特殊透视表。
格式：crosstab(index, columns, values=None, rownames=None, colnames=None, aggfunc=None, margins: 'bool' = False, margins_name: 'str' = 'All', dropna: 'bool' = True, normalize=False)
参数说明：
- index：交叉表的行展示指定参数的内容。
- columns：交叉表的列展示指定参数的内容，
- values：根据index和columns需要聚类统计的指定参数内容，必须与aggfunc配合使用。
- rownames：默认无，如果传递，则必须与传入的index组数匹配。
- colnames：默认无，如果传递，则必须与传入的columns组数匹配。
- aggfunc：指定values的聚合方式。
- margins：默认为false，添加行或列小计。
- margins_name：默认为ALL，当margins为True时，包含所有行列。
- dropna：默认为True，不包含所有列为NaN的记录。
- normalize：默认为False，是否要进行规范化。
- 如果传入为‘all’或者是True，将所有的值进行归一化；如果传入为‘index’，根据每行进行归一化；如果传入为‘columns’，根据每列进行归一化；如果margins为True，小计列和行也会进行归一化。
官网的例子：
import pandas as pd
import numpy as np
a = np.array(["foo", "foo", "foo", "foo", "bar", "bar",
"bar", "bar", "foo", "foo", "foo"], dtype=object)
b = np.array(["one", "one", "one", "two", "one", "one",
"one", "two", "two", "two", "one"], dtype=object)
c = np.array(["dull", "dull", "shiny", "dull", "dull", "shiny",
"shiny", "dull", "shiny", "shiny", "shiny"],
dtype=object)
# a为index的值，[b, c]为columns的值，以a的值为行名，以b,c的值为列名
cross_table = pd.crosstab(a, [b, c], rownames=['a'], colnames=['b', 'c'])
print(cross_table)
'''
b one two
c dull shiny dull shiny
a
bar 1 2 1 0
foo 2 2 1 2
'''从python中pandas使用技巧之——【1】交叉表 crosstab - 知乎学习的列子：
import pandas as pd
import numpy as np
industry = ['农业', '农业', '林业', '林业', '养殖业', '养殖业']
region = ['农村', '城市', '城市', '农村', '城市', '农村']
id = [1, 2, 3, 4, 5, 6]
price = [234, 123, 34, 2343, 45, 54]
df = pd.DataFrame({'id': id, 'industry': industry, 'price': price, 'region': region})
print(df)
'''
id industry price region
0 1 农业 234 农村
1 2 农业 123 城市
2 3 林业 34 城市
3 4 林业 2343 农村
4 5 养殖业 45 城市
5 6 养殖业 54 农村
'''
# 统计频数
print(pd.crosstab(index=df['industry'], columns=df['region']))
'''
region 农村 城市
industry
养殖业 1 1
农业 1 1
林业 1 1
'''
# 统计占比
print(pd.crosstab(index=df['industry'], columns=df['region'],
normalize='index'))
'''
region 农村 城市
industry
养殖业 0.5 0.5
农业 0.5 0.5
林业 0.5 0.5
'''
# 按price进行聚合
print(pd.crosstab(index=df['industry'], columns=df['region'],
values=df['price'], aggfunc=np.sum))
'''
region 农村 城市
industry
养殖业 54 45
农业 234 123
林业 2343 34
'''
# 按price进行聚合并统计占比
print(pd.crosstab(index=df['industry'], columns=df['region'], values=df['price'],
aggfunc=np.sum, normalize='index'))
'''
region 农村 城市
industry
养殖业 0.545455 0.454545
农业 0.655462 0.344538
林业 0.985696 0.014304
'''
# 增加行列小计
print(pd.crosstab(index=df['industry'], columns=df['region'],
margins=True, margins_name='合计'))
'''
region 农村 城市 合计
industry
养殖业 1 1 2
农业 1 1 2
林业 1 1 2
合计 3 3 6
'''