Windows环境搭建Spark开发环境

Linux安装

请参考大数据环境搭建(六)之安装Spark

Windows安装

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0/

解压后：

添加环境变量

Path追加

打开cmd 输入 spark-shell 检测

spark-submit测试

首先你要用scala写一个helloworld程序，创建方式请参考：https://blog.csdn.net/qq_15973399/article/details/107605623

object Hello {

  def main(args: Array[String]): Unit = {
    print("hello spark")
  }
}

打包：Project Structure->Artifacts打包成spark-rec.jar

运行参数：

spark-submit --class com.jiangsu.hello.HelloSpark D:\Project\jiangsu-uniform-platform\out\artifacts\jiangsu_hello_jar\jiangsu-hello.jar

基于本地模式（推荐）

import org.apache.spark.{SparkConf, SparkContext}

object SparkHello {
  def main(args: Array[String]): Unit = {
    val sc=new SparkContext(new SparkConf().setMaster("local[1]").setAppName("SparkHello"))
    println(sc.version)
    sc.parallelize(List(1,2,3,4)).foreach(println)
    sc.stop()
  }
}

基本不会在windows 安装spark的，不推荐这种做法，所以可以使用本地模式对代码进行调试后再上传到集群上。