Exception in thread main java.lang.NoClassDefFoundError: org.apache.spark.sql.SparkSession

在运行程序的过程中报了A JNI error has occurred, please check your installation and try again错误,具体异常信息如下图所示:

Exception in thread main java.lang.NoClassDefFoundError: org.apache.spark.sql.SparkSession_第1张图片

 从异常中看到是无法找到sparkSession类,但是我在maven中已经引入了该依赖,却依然出现异常,这个时候可以查看pom文件引入的依赖中scope标签中的内容,其中scope标签中对应的参数有如下几种:

1.compile

默认的scope,表示 dependency 都可以在生命周期中使用。而且,这些dependencies 会传递到依赖的项目中。适用于所有阶段,会随着项目一起发布

2.provided

跟compile相似,但是表明了dependency 由JDK或者容器提供,例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时,同时没有传递性。

3.runtime
表示dependency不作用在编译时,但会作用在运行和测试时,如JDBC驱动,适用运行和测试阶段。

4.test

表示dependency作用在测试时,不作用在运行时。 只在测试时使用,用于编译和运行测试代码。不会随项目发布。

5.system

跟provided 相似,但是在系统中要以外部JAR包的形式提供,maven不会在repository查找它。

而我在引入spark的依赖的时候scope标签中的内容为provided,当然会报错了,在引入依赖的时候一定要设置为compile或者runtime,spark才能初始化,所对应的程序才能运行。

你可能感兴趣的:(spark)