使用Intellij IDEA构建spark开发环境

近期开始研究学习spark，开发环境有多种，由于习惯使用STS的maven项目，但是按照许多资料的方法尝试以后并没有成功，也可能是我环境问题；也可以是用scala中自带的eclipse，但是不太习惯，听说支持也不太好，好多问题；咨询一些人后说，IDEA对scala的支持比较好。所以尝试使用IDEA来构建Spark开发环境；

 

1.  安装JDK

2.  安装IDEA最新版，目前是IDEA 14，社区免费版就可以；

3.  安装scala插件，运行IDEA，初次运行，可以直接再弹出的tab框中选择“Configure” -> "plugins"，如果已经使用过在工程页面，“File” -> "Settings" -> "Plugins" 或者Ctrl + Alt + S， 输入“scala”， 安装插件即可

 

4.  搭建Spark开发环境

4.1 下载spark的jar包， 在下载页面选择相应的spark版本， 包类型这里选择spark1.2.0， 和Pre-build for Hadoop 2.4进行下载spark-1.2.0-bin-hadoop2.4.tgz，解压， lib下的spark-assembly-1.2.0-hadoop2.4.0.jar是所需要的；

4.2 新建scala项目， “File” -> "New Project"， 选择scala，scala，next起名字，finish

 

4.3 导入spark包

    在项目页“File” -> "project structure" -> "Libraries", 点“+”，选“java”，找到spark-assembly-1.2.0-hadoop2.4.0.jar导入，这样就可以编写spark的scala程序了（例子有空补）

4.4 程序导出

    如果在spark上运行程序，需要将程序导出为jar包，并将jar包上传至spark集群运行。导出jar包分为两步：

    1）在项目页“File” -> "project structure" ->"Artifacts", 点“+”，选“JAR”->"from modules with dependencies .."，在弹出的Create Jar from Modules中选择Module和MainClass，点“OK”，然后分别选择到导出的Jar包名， 导出路径，导出文件，点“OK”;

    2) 在项目页“Build”->"Build Artifacts"，选择相应的jar包，build即可在目录下生成相应jar包；