idea本地调试spark demo 异常

第一个问题:Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf

出现的原因:


idea本地调试spark demo 异常_第1张图片

依赖中加入了provided

解决方案:取掉scope就ok了


第二个问题:Exception in thread "main" java.lang.NoSuchMethodException: akka.remote.RemoteActorRefProvider.


idea本地调试spark demo 异常_第2张图片

原因:本地安装的scala中带的actor版本和spark中akka的actor版本有差异

解决方案:在classpath中将scala的jar放在spark之后就好了

在idea中调整下依赖顺序即可,如下图:


idea本地调试spark demo 异常_第3张图片

你可能感兴趣的:(idea本地调试spark demo 异常)