Intellij IDEA搭建Spark开发环境并运行

在IntellIJ IDEA中搭建好spark开发环境，并在IntelliJ IDEA中运行local模式，这是学习spark开发和调试spark程序，以及分析spark源码的绝佳方式.

基本流程：
1.安装JDK，注意版本要和spark兼容
2.安装scala,注意版本要和spark兼容
3.安装IntelliJ IDEA 并安装scala插件
4.新建scala工程，制定JDK,和scala配置
5.导入spark-hadoop依赖包，可以将官网下载的spark解压后中的jars目录下的jar包全部导入工程，如下：

6.设置IDEA运行项的Configuration中的VM opthion 增加-Dspark.master=local，如下：

7.开发程序并运行即可