IDEA编译Spark源码

1. IDEA导入Spark源码
导入源码之后，在编译之前需要做一些工作：

• 设定JDK
  File-》Project Structure -》SDKs, 选择jdk1.8

• 设定scala
  File-》Setting -》Plugins，输入scala ，单击install即可。
  

• pom.xml
  将不关注的module进行注释掉
  provided改成

compile

• Build project

2. 运行demo
进入example目录，执行sparkPi.scala,.
如果执行以下错误： Error while locating file spark-version-info.properties.

解决办法如下：
File -> Project Structure -> Modules -> spark-examples_2.11 -> Dependencies 添加依赖 jars -> {spark dir}/spark/assembly/target/scala-2.11/jars/

参考：
【1】https://blog.csdn.net/ggz631047367/article/details/53811213