Spark 学习笔记（一）使用Intellij Idea编写Spark应用程序（Scala+SBT）

本文基于踩了无数坑和这篇本地部署的基础上写成。
本文适用于云主机搭建的spark环境下运行spark程序。

运行环境

阿里云主机 Linux部署 Spark 2.3.1
本地JDK 1.8
Intellij Idea (Version 2018)

---

安装Scala插件

安装Scala插件,该Scala插件自带SBT工具。如果已经安装Scala插件，即可跳过此步骤

点击Install,即可安装Scala插件。安装好后如图：

构建基于SBT的Scala项目

如下图，按顺序执行如下操作:
新建项目->选择Scala—>SBT

设置项目名：

这里有个坑，一定要选择你Spark支持的scala版本！我的是2.3.1，支持scala 2.10.X，这里选择了2.10.7.查看你的适配版本链接在spark下载页面：http://spark.apache.org/downloads.html

利用SBT 添加依赖包

利用Spark的官网查到Spark artifacts的相关版本号，如下图：

groupId: org.apache.spark
artifactId: spark-core_2.11
version: 2.3.1

编辑Intellij Idea项目中是build.sbt:

name := “scalaDemo4”

version := “0.1”

scalaVersion := “2.10.6”

追加一行代码：

libraryDependencies += “org.apache.spark” %% “spark-core” % “2.1.0”

可以选择Refresh Project手动刷新，也可以选择Enable auto-import让Intellij Idea以后每次遇到build.sbt更新后自动导入依赖包。这里，选择Enable auto-import.

在下方build界面看到所以依赖导入完成，显示绿色标记ok时，表示一句部署成功了。
接下来可以写程序了。