数据分析工具Polars实现CSV读写、排序、应用函数、lazy API

polars使用rust实现，内部使用arrow列存储格式，支持并行数据处理，比pandas快，分两种模式eager和lazy。
适合中、小型数据处理，大型数据建议用Spark。

安装

pip install polars

DataFrame

读取CSV

读取CSV并设置列名。

import polars as pl

# 读取CSV文件，返回DataFrame
df = pl.read_csv('data.csv', new_columns=["index", "id", "url"])

查看前5条

# 提取前5条
print(df.head(5))

排序

# 排序
print(df.sort("url", descending=True).head(5))

查看列、行

# 查看列名
print(df.columns)

# 所有行
print(df.rows())

行列数

# 行列数
print(df.shape)

查看数据类型

# 查看数据类型
print(df.dtypes)

空行数

# 空行数
print(df.null_count())

过滤

# 过滤
print(df.filter(pl.col("index") == 1153))

保存CSV

df.write_csv("1.csv")

LazyFrame

使用Lazy接口可以优化查询，超过内存的数据量、提取发现类型错误。

import polars as pl

# 新建LazyFrame
lf = pl.scan_csv("data.csv", new_columns=["index", "id", "url"])

df = (lf.filter(pl.col("id") != 0)  # 过滤数据
      .map_batches(lambda x: x, streamable=True)  # 应用函数，参数是dataframe类型
      .collect(streaming=True))  # 执行
print(df.head())  # 查看结果

参考

官网
https://github.com/pola-rs/polars