Spark_Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

敲黑板 ，引入的依赖 一定要 “compile” 或则 “runtime”，否则spark conf 无法初始化，这辈子也运行不了，千万不要是 “provided".

        
            org.apache.spark
            spark-sql_2.11
            ${spark.jar.version}
            compile
        

在一个maven项目中，如果存在编译需要而发布不需要的jar包，可以用scope标签，值设为provided。如下：

    
        javax.servlet.jsp
        jsp-api
        2.1
        provided
        
    

scope的其他参数如下：

• compile

默认的scope，表示 dependency 都可以在生命周期中使用。而且，这些dependencies 会传递到依赖的项目中。适用于所有阶段，会随着项目一起发布

 

• provided

跟compile相似，但是表明了dependency 由JDK或者容器提供，例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时，同时没有传递性。???

 

• runtime

表示dependency不作用在编译时，但会作用在运行和测试时，如JDBC驱动，适用运行和测试阶段。

 

• test

表示dependency作用在测试时，不作用在运行时。 只在测试时使用，用于编译和运行测试代码。不会随项目发布。

 

• system

跟provided 相似，但是在系统中要以外部JAR包的形式提供，maven不会在repository查找它。

   

   引入 spark 依赖 ，尤其是 spark-core spark -streaming spark-mllib ，这个时候要注意两点，这些spark 依赖的版本也一定要和 安装spark 根目录下jars 目录中的spark 相关jar包版本一致，通过观察 jars 中的spark 相关jar包都是 spark_*_2.11.0_2.1.0,一定要注意其中的版本，2.11.0代表的是spark 引用的scala 版本大号