idea运行简单spark demo出现: scala.Predef$.$scope()Lscala/xml/TopScope$错误

idea运行简单spark demo出现: scala.Predef . . .scope()Lscala/xml/TopScope$错误

从git上下了部门的代码库,里面的pom.xml都是配置好的,但是导入我的IDEA上我自己简单写了个demo出现了各种错误,大多数在baidu上都有解决办法,但是上面那个版本兼容的问题我是怎么改也不对。
错误详情如下:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$; at org.apache.spark.ui.jobs.AllJobsPage.(AllJobsPage.scala:39) at org.apache.spark.ui.jobs.JobsTab.(JobsTab.scala:38) at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:65) at org.apache.spark.ui.SparkUI.(SparkUI.scala:82) at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:220) at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:162) at org.apache.spark.SparkContext.(SparkContext.scala:452) at org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58) at com.suning.search.dps.test.WCSpark.main(WCSpark.java:27)
这个错误上网查就是一些什么不兼容的问题,什么改一个版本号,但是玄而又玄,解释的根本看不懂,有的解决方法就是驴唇不对马嘴,后来第二天,一个大哥好心的帮我去谷歌搜索了解决办法,不得不说,真的很快,一下子就有了解决办法,比那个墙内的强多了…
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$
部分pom文件如下:


		UTF-8
		2.11.8
        2.1.0
	`

			org.apache.spark
			spark-sql_2.10
			${spark.version}
			provided
		
		
			org.apache.spark
			spark-hive_2.10
			${spark.version}
			provided
		
		
			org.scala-lang
			scala-library
			${scala.version}
			compile
			
		

其中
idea运行简单spark demo出现: scala.Predef$.$scope()Lscala/xml/TopScope$错误_第1张图片
这个spark-xx-2.10,后面的2.10对应的是scala的版本,所以需要上面的scala-version改成2.10.x,或者是把spark-xx.2.10改成spark-xx.2.11,这样。
idea这样运行本地模式,只需要依赖jar包,不需要本地安装spark,所以刚开始我不知道,就误以为和我本地安装有关系,后来才发现他这个是spark对应的scala版本。
在mvn 资源搜索也可以看见查询一个spark的jar包,后面还有相应的scala版本的对应,所以说scala的版本兼容是真的好烦!!一定要对应好!

你可能感兴趣的:(spark本地运行错误)