spark-shell启动报错:./spark-shell: line 44: 5271 已杀死

最近接触Spark的,在已经配置好的集群master上启动spark-shell时,出现此错误。除此之外,命令行再无其他提示信息,上下滚动,就连ERROR提示都没发现,很是疑惑。

解决步骤如下:

1. 先是打开spark webui,查看Completed Applications,按照Submitted Time,找到最新的一条启动记录,打开:


查看application详细:(当然,以下截图,是启动成功的。启动失败的,State列为killed

spark-shell启动报错:./spark-shell: line 44: 5271 已杀死_第1张图片

找到Logs列,打开stderr,发现以下错误提示:

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ver


2. 紧接着查找此错误,但是网上搜到的大多和spark无关,只在一篇文章下,看到,可能是内存问题,可通过加大excutor-memory值的方式解决。然后开始尝试,

把master和多个slave的memory改大。原以为这样就行了,但是此处出现了一点点意外。 由于机器配置了很多环境,可用内存不多,所以就暂且都改成了小数*.5的形式。

但是在启动的时候竟然发现slave启动不了,只是提示了failed launch...。提示虽然简单,但是已经很明显了。果断开始查看启动日志,在slave机器上找到对应日志,查看:

spark-shell启动报错:./spark-shell: line 44: 5271 已杀死_第2张图片

想到可能是设置的测试值为小数问题,接着回去找到配置文件,将内存值设置改成整数2,重启spark-shell,成功。

spark-shell启动报错:./spark-shell: line 44: 5271 已杀死_第3张图片


3. 查看spark webui,也显示正常


以上就是此次问题的处理步骤,当然中间还有些其他问题,像重启hadoop失败等等。与此问题无关就略过了。

先记下来,以备后续查看。。

你可能感兴趣的:(spark,hadoop)