python读parquet文件 pandas读parquet文件

如何使用gzip压缩后的parquet文件

今天我们来学习使用python读取parquet文件

背景

有一个parquet文件，而且还用gzip压缩了。

那该如何读取呢？

准备工作

安装

pandas和pyarrow

# 安装 pandas and pyarrow:
pip3 install pandas pyarrow

读取

# 使用 read_parquet 加载parquet文件
import pandas as pd
from pandas import read_parquet
data = read_parquet("myFile.parquet.gzip")
print(data.count())
data.head()