Spark IDEA环境搭建

创建 Maven 项目

增加 Scala 插件

添加依赖关系 

基本连接与关闭

---

创建 Maven 项目

创建新的maven

删除src目录

创建spark.core工程文件

增加 Scala 插件

Spark 由 Scala 语言开发的，所以本课件接下来的开发所使用的语言也为 Scala，咱们当 前使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12，所以后续开发时。我们依 然采用这个版本。开发前请保证 IDEA 开发工具中含有 Scala 开发插件

先提前准备好scala2.12的编译

 如果未采用可以看之前的流程进行：

初探Scala_open_test01的博客-CSDN博客

 查看框架支持

选择scala框架支持

 测试环境

添加依赖关系 

 
 org.apache.spark
 spark-core_2.12
 3.0.0
 
 
    org.codehaus.janino
    janino
    3.0.12
 

 基本连接与关闭

  def main(args: Array[String]): Unit = {
    //建立spark框架连接
      //基本配置
    val sparkConf = new SparkConf().setMaster("local").setAppName("WordCount")
        //sparkConf基础配置对象 sparkConf环境 local本地环境 应用名称：WordCount
    val sc = new SparkContext(sparkConf) //将sparkConf传入核心对象中


    //关闭spark框架连接
    sc.stop()
  }

运行查看日志信息