idea基于maven 和scala创建spark项目

一、需要安装的环境

① JDK。本人安装的是1.8版本，安装过程略，网上可搜索anzhuang教程。

② MAVEN。本人安装的是3.3.3。

③ IDEA。版本是2016.3以后的版本。

二、创建基于scala语言的spark项目

①创建新项目（FILE -> NEW -> PROJECT）

②左边栏选择Maven，点击红圈内容，Next

③输入项目名称等信息

④选择本地安装的maven目录和maven配置文件的路径，NEXT

⑤设置项目路径，finish

⑥配置项目Sources 和Resource ，next

⑦设置scala SDK。博主使用的是scala2.11.8版本，同时把内置的scala版本删掉。

⑧点击右下角的import chances,然后就可以在项目中新建scala class 和object了。

⑨配置spark环境。打开项目下的pom.xml文件，找到位置dependencies>之间，插入如下依赖，import changes。注意博主此处使用的是2.0.2版本的spark，各位帅锅美女需要根据自己需要的版本，进行添加。需要查找对应的maven依赖，可到http://mvnrepository.com/artifact/org.apache.spark 此处进行搜索 。

⑩脚本测试spark环境。测试成功

基本项目建设完成。