Spark相关错误汇总

前面介绍了Spark开发环境的搭建,下面将在实际开发过程中遇到的一些问题汇总一下:

1、Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version'
  这种情况,我出现的是原因提交job到spark集群中,采用的是java -jar的方式。
  正确的做法是:用spark-submit 命令的方式提交job。例如:

  spark-submit  --class   "com.yiban.datacenter.Spark_RDD.demo"   --master   local    Spark-RDD-0.0.1-SNAPSHOT-jar-with-dependencies.jar  /user/liujiyu/data/TestData(参数)

 

2、ERROR LiveListenerBus: Listener EventLoggingListener threw an exception
  这种情况出现的原因是由于代码当中对于SparkContext并没有关闭资源所导致的。
  正确的做法:在代码的末尾加上:sc.stop()即可。

 

 

(未完待续)

  

 

你可能感兴趣的:(Spark相关错误汇总)