spark 本地调试&远程调试

方式一：ieda 中编写代码，以local 模式调试
val conf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)//本地调试

方式二： ieda 中编写代码，以集群 模式调试
val conf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“spark://hadoop-103:7077”)
.setJars(List(“C:\Users\baron\Desktop\sparktest\target\sparktest-1.0-SNAPSHOT-jar-with-dependencies.jar”))
.setIfMissing(“spark.driver.host”,“192.168.23.1”)

setMaster中放入集群URL
setJar 中加入此项目打包之后jar包的位置
setIfMissing 中放入windows本地ip作为spark.driver.host
当然你的windows 和集群是要可以ping 通的！！！