spark 之 driver

driver 端 之输出文件

如果我们碰到有spark任务所有task结束了但是任务还没结束,很可能就是Driver还在不断的拷文件;

涉及参数:

mapreduce.fileoutputcommitter.algorithm.version = 1
mapreduce.fileoutputcommitter.algorithm.version = 2

可以参考如下

https://blog.csdn.net/daoxu_hjl/article/details/108208327

你可能感兴趣的:(spark,spark,大数据,分布式)