Polars基本操作 - context

在Polars中,上下文(context)操作是一种按组进行数据处理的方法。它允许您在每个组内对数据进行选择(selection)、过滤(filtering)和聚合(Group by / Aggregation)。

1. 选择(selection)

import polars as pl

# 创建一个DataFrame
df = pl.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5],
    'count': [10, 20, 30, 40, 50]
})

# 选择group和value两列
result = df.select(['group', 'value'])

print(result)

2. 过滤(filtering)

import polars as pl

# 创建一个DataFrame
df = pl.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内过滤掉小于3的值
result = df.groupby('group').apply(lambda x: x.filter(pl.col('value') >= 3))

print(result)

3. 聚合(Group by / Aggregation)

import polars as pl

# 创建一个DataFrame
df = pl.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内计算平均值和总和
result = df.groupby('group').agg({'value': ['mean', 'sum']})

print(result)

与之相对比的pandas的选择、过滤和聚合

1. pandas选择(IMHO,比Polars的简单)

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5],
    'count': [10, 20, 30, 40, 50]
})

# 选择group和value两列
result = df[['group', 'value']]

print(result)

2. pandas过滤(可以用布尔索引过滤)

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内过滤掉小于3的值
result = df.groupby('group').apply(lambda x: x[x['value'] >= 3])

print(result)

3. pandas聚合

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内计算平均值和总和
result = df.groupby('group')['value'].agg(['mean', 'sum'])

print(result)

IMHO,看起来context操作,Pandas比Polars更直观。不过Polars能处理的数据量比Pandas大。

你可能感兴趣的:(Python,python,数据分析,数据挖掘)