脚本提交spark任务会自动重试

1)如果spark任务执行成功,不会自动重试
2)如果spark任务执行失败,手动提交时不会重试
3)如果spark任务执行失败,脚本自动调教时会重试一次

配置参数--conf spark.yarn.maxAppAttempts=0即可。
想不明白,为什么手动提交没有问题,脚本提交会自动重试。。看配置文件也没看到该配置,网上说默认是4。应该是yarn配置的是1。

spark.yarn.maxAppAttempts
The maximum number of attempts that will be made to submit the application. It should be no larger than the global number of max attempts in the YARN configuration.

你可能感兴趣的:(脚本提交spark任务会自动重试)