自己下载导入的spark sql包引起的IDEA编译任何程序都报错

交代下前因后果:

学习Spark SQL过程中:在pom.xml中配置这段话,maven仓库并没有下载,只是提示找不到这个依赖;遂去到这个网址 http://mvnrepository.com 是maven仓库的国内镜像地址,下载到spark-sql_2.11-2.4.0.jar这个包

2.4.0
 
          org.apache.spark
          spark-sql_2.11
          ${spark.version}
      

在File --> Project Structure中点击+号,添加下载依赖包,点击应用okay即可。
自己下载导入的spark sql包引起的IDEA编译任何程序都报错_第1张图片

这样的做法,运行很长一段时间都没问题,不知为何打开IDEA运行任何程序就报下面这个错,提示找不到XXX,反正就一大堆东西。

报错代码段:


Error:scalac: missing or invalid dependency detected while loading class file 'Dataset.class'.
Could not access term plans in package org.apache.spark.sql.catalyst,
because it (or its dependencies) are missing. Check your build definition for
missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.)
A full rebuild may help if 'Dataset.class' was compiled against an incompatible version of org.apache.spark.sql.catalyst.

解决:

猜测是这个外部导入的spark sql包引起的,于是在导入jar的路径删除后,重新添加一遍再无报错。

也不知道为什么,咱也不敢说,咱也不敢问,现在问题暂时没了,有大佬看到可以给我解答下。

你可能感兴趣的:(高级班Spark-SQL)