pandas - groupby, agg分组统计
分组统计是数据分析中较为复杂的一种操作，但是使用起来非常有用，能避开大量的循环等等。
DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True,group_keys=True, squeeze=False, **kwargs)
对DataFrame或者series进行分组统计；by为DataFrame中的某一列；as_index表示为
1. 以某一列为参照物对另一列进行分组统计
对data1按照key1进行分组，然后求均值：
# -*- coding: utf-8 -*-
""" 数据聚合与分组技术, 利用Python进行数据分析
1. groupby;
"""
import pandas as pd
import numpy as np
np.random.seed(1)
""" 1. groupby, 按键拆分, 重组, 求和 """
df = pd.DataFrame({
"key1": ["a", "a", "b", "b", "a"],
"key2": ["one", "two", "one", "two", "one"],
"data1": np.random.randn(5),
"data2": np.random.randn(5)
})
# 按key1分组, 计算data1列的平均值
key1 = df["data1"].groupby(df["key1"]).mean()
# 语法糖为
key1 = df.groupby(["key1"])["data1"].mean()2. 以某几列为参照物对另一列进行分组统计
# -*- coding: utf-8 -*-
""" 数据聚合与分组技术, 利用Python进行数据分析
1. groupby;
"""
import pandas as pd
import numpy as np
np.random.seed(1)
""" 1. groupby, 按键拆分, 重组, 求和 """
df = pd.DataFrame({
"key1": ["a", "a", "b", "b", "a"],
"key2": ["one", "two", "one", "two", "one"],
"data1": np.random.randn(5),
"data2": np.random.randn(5)
})
# 按照key1, key2分组, 对data1列计数
key12 = df["data1"].groupby([df["key1"], df["key2"]]).count().unstack()
3. 以任意数组为分组键对另一列进行分组统计
以一个数组来对某一列进行分组统计。
# -*- coding: utf-8 -*-
""" 数据聚合与分组技术, 利用Python进行数据分析
1. groupby;
"""
import pandas as pd
import numpy as np
np.random.seed(1)
""" 1. groupby, 按键拆分, 重组, 求和 """
df = pd.DataFrame({
"key1": ["a", "a", "b", "b", "a"],
"key2": ["one", "two", "one", "two", "one"],
"data1": np.random.randn(5),
"data2": np.random.randn(5)
})
# 以任意数组为分组键
arr = np.array([1993, 1994, 1993, 1996, 1996])
keyArr = df["data1"].groupby(arr).count()4. 对分组进行迭代
对象经过groupby之后是可以迭代的。
# -*- coding: utf-8 -*-
""" 数据聚合与分组技术, 利用Python进行数据分析
1. groupby;
"""
import pandas as pd
import numpy as np
np.random.seed(1)
""" 1. groupby, 按键拆分, 重组, 求和 """
df = pd.DataFrame({
"key1": ["a", "a", "b", "b", "a"],
"key2": ["one", "two", "one", "two", "one"],
"data1": np.random.randn(5),
"data2": np.random.randn(5)
})
# 对分组进行迭代
for name,group in df.groupby("key1"):
print(name, group)5. agg的应用
可以对groupby的结果，同时应用多个函数；可以对groupby的结果更正列名。
""" agg数据聚合 """
key1 = df.groupby(["key1"], as_index=False)["data1"].agg({"aa" : "count"})参考文献
http://jingyan.baidu.com/article/adc8151358a781f723bf73c4.html
http://jingyan.baidu.com/article/d45ad148947fd369552b80f6.html