Pandas 中级教程——数据分组与聚合

Python Pandas 中级教程：数据分组与聚合

Pandas 是数据分析领域中广泛使用的库，它提供了丰富的功能来对数据进行处理和分析。在实际数据分析中，数据分组与聚合是常见而又重要的操作，用于对数据集中的子集进行统计、汇总等操作。本篇博客将深入介绍 Pandas 中的数据分组与聚合技术，帮助你更好地理解和运用这些功能。

1. 安装 Pandas

确保你已经安装了 Pandas。如果尚未安装，可以使用以下命令：

pip install pandas

2. 导入 Pandas 库

在使用 Pandas 之前，首先导入 Pandas 库：

import pandas as pd

3. 数据加载

在介绍数据分组与聚合之前，我们先加载一些示例数据：

# 读取数据集
df = pd.read_csv('your_data.csv')

4. 数据分组

4.1 单列分组

# 按某一列进行分组
grouped = df.groupby('column_name')

4.2 多列分组

# 按多列进行分组
grouped = df.groupby(['column1', 'column2'])

5. 数据聚合

5.1 常用聚合函数

Pandas 提供了丰富的聚合函数，如 sum、mean、count 等：

# 对分组后的数据进行求和
sum_result = grouped['target_column'].sum()

# 对分组后的数据进行均值计算
mean_result = grouped['target_column'].mean()

# 统计每组的数量
count_result = grouped['target_column'].count()

5.2 自定义聚合函数

除了内置的聚合函数，你还可以使用自定义函数：

# 自定义聚合函数
def custom_aggregation(x):
    return x.max() - x.min()

# 应用自定义聚合函数
custom_result = grouped['target_column'].agg(custom_aggregation)

6. 多个聚合操作

你可以同时应用多个聚合操作，得到一个包含多个统计结果的 DataFrame：

# 多个聚合操作
result = grouped['target_column'].agg(['sum', 'mean', 'count', custom_aggregation])

7. 多层索引

分组操作可能会生成多层索引的结果，你可以使用 reset_index 方法将其转换为常规 DataFrame：

# 将多层索引转为常规索引
result_reset = result.reset_index()

8. 多级分组

你还可以对多个列进行多级分组：

# 多级分组
grouped_multi = df.groupby(['column1', 'column2'])

9. 过滤

通过 filter 方法可以根据分组的统计信息筛选数据：

# 过滤出符合条件的分组
filtered_group = grouped.filter(lambda x: x['target_column'].sum() > threshold)

10. 总结

通过学习以上 Pandas 中的数据分组与聚合技术，你可以更灵活地对数据进行分析和总结。这些功能对于理解数据分布、发现模式以及制定进一步分析计划都非常有帮助。希望这篇博客能够帮助你更好地掌握 Pandas 中级数据分组与聚合的方法。