spark问题归纳

spark问题归纳

一、说明

以下遇到的spark问题都是本人在实际过程中碰到的，可能并不适合所有的情况，可做参考，有异议欢迎讨论。

二、问题列表

2.1  Application history not found (app-20150821200352-0022) 

 No event logs found for application in hdfs://SparkWorker2:9000/sparkEventLogs. Did you specify the correct logging directory

1. 确定指向了正确的master ： --master spark://:7077  

2. 若是以spark-submit提交的jar，确保调用了 sc.stop()；

3.实在不行，重启spark。在做实验可以开启、关闭服务，而在实际的真机上却不能随意关掉服务。

4. 其实，这是一个BUG，在1.4.1版本中，目前木有解决，不过后续版本应该会解决的。 bug说明