spark任务结束时timeout问题

先上错误图
spark任务结束时timeout问题_第1张图片
这个错误是由一个临时导出需求产生的,任务需要读取两个大表进行join操作,所以耗费的时间也比较多,在Spark任务结束时产生了上图的异常。

这个任务其实在底层已经成功运行并输出结果了,且任务结果文件已经成功写入到HDFS中,根据网上所说将spark的net timeout配置,任务等待时长配置修改均无效。

解决方法 1:
在应用程序结尾显示调用

sparkContext.stop()

你可能感兴趣的:(Question,Spark)