使用 pyarrow 将parquet转成spark能用的parquet

最近发现spark的一个坑（发现时spark最新为2.4.4版本），spark对parquet格式有特殊要求，不支持带“uint8”类型的parquet

https://github.com/apache/arrow/issues/1470

如何使用pyarrow把一个parquet转换一下呢？

import pyarrow.parquet as pq
df=pq.read_table('uint.parquet', use_threads=1)
pq.write_table(df, 'spark.parquet',flavor='spark')

根据实测以上方法生成的 parquet 还是带uint8的格式。。。。所以没用

目前的问题是对于一个超大parquet，内存不够把他读成pandas的dataframe，所以要用pyarrow来分割：

import pyarrow.parquet as pq
tb = pq.read_table('uint8.parquet')
pq.write_to_dataset(tb, root_path='/some/path/predict_dataset',partition_cols=['columns to split'])

然后把分割后的小parquet，用pandas读成dataframe，然后转成csv

import pandas as pd
df=pd.read_parquet('/some/path/small.parquet', engine='pyarrow')
df.info()
df.to_csv("predict.csv")

 

以上亲测都不行。。。。请参考我在github上的这个项目：

https://github.com/rav009/parquet-operator