windows下配置spark-源码阅读

Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。

安装jdk/java  略

安装git

安装scala

安装sbt

http://www.scala-sbt.org/download.html

下载地址

安装完成后输入sbt，会自动下载需要的包，要等一段时间。

本文介绍的是Windows下的各项配置方法（默认已经装了java，JDK）。

下面列举搭建此环境需要的各个组件：

IDEA，有两个版本：Ultimate Edition & Community Edition，后者是free的，而且完全能满足学习者所有的需求

Scala，Spark是用Scala语言写成的，在本地编译执行需要这个包

SBT，scala工程构建的工具

Git，IDEA自动下载SBT插件时可能会用到的工具

Spark Source Code，Spark源码

spark下载源码（http://spark.apache.org/downloads.html）：

IDEA下载地址：https://www.jetbrains.com/idea/download/#section=windows

打开IDEA，在‘Welcome to IntelliJ IDEA’界面的‘Quick Start’栏，点击Configure，选择Plugins。

在弹出的窗口中可以看到已安装的插件，现在IDEA默认还没有Scala的插件。需要点击左下角的Install JetBrains plugin...，在搜索框中输入‘scala’，点击安装。安装完成后可能会要求重启一下IDEA。

解压缩Spark Source Code包

导入Spark工程

在欢迎界面‘Quick Start’栏或者是在主界面的菜单栏File下，选Import Project，找到解压之后的spark工程文件夹，OK。

选择import project from external model中的SBT project，（这个选项只有在安装了IDEA的Scala插件才会有）。

下一步，选择Project SDK为JDK，最好勾上Use auto-import，然后点击Finish。这时，IDEA会自动下载安装SBT所需的各个包，没有装Git的话可能会报错。

因为Spark是一个比较大的工程，所需的包也很多，这个过程也会特别慢，请耐心等待。

导入完成

导入完成后，自动打开工程，要等一段时间，等待sbt对这个工程进行编译。

安装intelliJ IDE

打开工程文件：file->open

打开后需要加载一些资源包

参考：

http://guozhongxin.com/pages/2014/10/15/spark_source_code.html

https://www.zhihu.com/question/24869894