使用idea构建Spark应用

操作环境：

IntelliJ IDEA 14.1.5社区版

操作系统：windows7

步骤：

1、创建工程

依次：File->New->Project…

勾选Scala

点击next，输入工程名点击Finish即可。

接下来可能会有一个弹窗（如果你在创建工程的时候已经打开过另一个了），有This Window和New Window选项。选择This Window会将当前工程关闭，选择New Window会保持当前工程的打开另起一个窗口。一般选择This Window即可。

 

2、导入Spark依赖jar包

这个jar包一般存放于Spark安装包的lib目录下。比如我下载的是1.6.1的yarn版本得到的依赖包名为：

spark-assembly-1.6.1-hadoop2.4.0.jar

找到这个jar包位置后,导入方式为:

File->Project Structure

点击Libraries->点击+，如下图所示：

点击加号之后选择Java，然后在弹出框中找到spark-assembly-1.6.1-hadoop2.4.0.jar 选择即可。

在弹出的确认框中选择ok，再点击ok关闭Project Structure框。如果程序需要其他依赖，也可以一并导入。

 

3、编写代码，打包

如何编写代码这里就不详述了，需要注意的是：创建scala object的时候会发现只有scala class选项，只需要点击这个scala class，然后在一个下拉框会发现有创建object的选项的。

打包过程如下：

（1）先配置：

依次选择“File”-> “Project Structure”-> “Artifact”，选择“+”-> “Jar”-> “From Modules with dependencies”，选择main函数，并在弹出框中Output directory后面选择输出jar位置，

这时可以将spark-assembly以及scala相关的依赖jar包移除，保留一些特殊的依赖，否则打包的时间会比较长而且完成后的jar包也会很大，具体的操作方式是：选中jar包->点击减号。最后选择“OK”。

然后依次选择“Build”–> “Build Artifact”编译生成jar包。

即可得到打包文件。