2018-11-28

针对spark-sql操作hive生成分区表,结果文件目录包含_success空文件,可以设置参数:

mapreduce.fileoutputcommitter.marksuccessfuljobs


2018-11-28_第1张图片


2018-11-28_第2张图片

因此可以在程序中设置:

sc.hadoopConfiguration.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")

你可能感兴趣的:(2018-11-28)