spark3使用zstd压缩

spark想不进行文件切分,文件是多大就起几个task,参数设置
–conf spark.sql.files.maxPartitionBytes=2147483648 --conf spark.sql.files.openCostInBytes=2147483648

写出的文件使用zstd压缩,spark3才开始支持
–conf spark.sql.parquet.compression.codec=zstd

你可能感兴趣的:(spark,spark)