Windows下使用Intellij 搭建Spark开发环境

准备工作#

• 安装JDK
• 安装scala 2.10.*
• 下载Intellij IDEA
• 下载 Spark Pre-build for hadoop 2.6 and later.
  http://spark.apache.org/downloads.html

搭建Spark开发环境#

在Intellij IDEA中创建scala project，并依次选择“File”–> “project structure” –> “Libraries”，选择“+”，将准备工作中下载的spark-hadoop 对应的包导入。
然后点击Run即可。

如果想把程序打成jar包，通过命令行的形式运行在spark 集群中，可以按照以下步骤操作：
依次选择“File”–> “Project Structure” –> “Artifact”，选择“+”–> “Jar” –> “From Modules with dependencies”，选择main函数，并在弹出框中选择输出jar位置，并选择“OK”。
最后依次选择“Build”–> “Build Artifact”编译生成jar包。具体如下图所示。