idea本地调试spark

这种方法我没有采用：

./sbt/sbt assembly      

./sbt/sbt gen-idea       

然后再导入

我发现这样可行：

给idea装上scala插件

下载源码，假设使用git同步最新的源码

git clone https://github.com/apache/spark.git

File->Import Project

选择项目类型为sbt project

选中"Use auto-import",然后点击Finish

然后去可以跑SparkPi.scala

设置VM options  为 -Dspark.master=local

设置Environment variables 为MASTER=LOCAL

然后当然会出现一些编译问题

应该是装上maven，然后在idea选择view -> tool windows -> maven project ，然后+ ，然后generate and update

然后出现一些modules的问题，File-> project structure里面捣鼓一下

就可以debug整个Spark了