idea基于maven 和scala创建spark项目

一、需要安装的环境

① JDK。本人安装的是1.8版本,安装过程略,网上可搜索anzhuang教程。

② MAVEN。本人安装的是3.3.3。

③ IDEA。版本是2016.3以后的版本。


二、创建基于scala语言的spark项目


①创建新项目(FILE -> NEW -> PROJECT)

idea基于maven 和scala创建spark项目_第1张图片

②左边栏选择Maven,点击红圈内容,Next

idea基于maven 和scala创建spark项目_第2张图片

③输入项目名称等信息

idea基于maven 和scala创建spark项目_第3张图片

④选择本地安装的maven目录和maven配置文件的路径,NEXT

idea基于maven 和scala创建spark项目_第4张图片

⑤设置项目路径,finish

idea基于maven 和scala创建spark项目_第5张图片

⑥配置项目Sources 和Resource ,next

idea基于maven 和scala创建spark项目_第6张图片

⑦设置scala SDK。博主使用的是scala2.11.8版本,同时把内置的scala版本删掉。

idea基于maven 和scala创建spark项目_第7张图片

idea基于maven 和scala创建spark项目_第8张图片

idea基于maven 和scala创建spark项目_第9张图片

⑧点击右下角的import chances,然后就可以在项目中新建scala class 和object了。

idea基于maven 和scala创建spark项目_第10张图片

⑨配置spark环境。打开项目下的pom.xml文件,找到位置dependencies>之间,插入如下依赖,import changes。注意博主此处使用的是2.0.2版本的spark,各位帅锅美女需要根据自己需要的版本,进行添加。需要查找对应的maven依赖,可到http://mvnrepository.com/artifact/org.apache.spark 此处进行搜索 。

idea基于maven 和scala创建spark项目_第11张图片

⑩脚本测试spark环境。测试成功

idea基于maven 和scala创建spark项目_第12张图片

基本项目建设完成。





你可能感兴趣的:(scala)