IntelliJ Idea构建Spark(scala)项目

IntelliJ IDEA 2016.3
Build #IU-163.7743.44, built on November 18, 2016
Subscription is active until November 23, 2017
JRE: 1.8.0_112-release-408-b2 x86_64
JVM: OpenJDK 64-Bit Server VM by JetBrains s.r.o

首先在插件里下载安装scala,安装好后重启Ide,我们可以看到创建项目里又了scala项目,我们选择scala,然后scala sdk版本我们选择 scala 2.11.0,如果没有,我们点create,然后下载这个版本,版本的选择是有讲究的,我一开始安装的是2.12.1,最新版本,spark我们下载的hadoop2.6.0的,运行时一只报错,

报错位置

val sc = new SparkContext(conf)

查了资料,是版本不适应,我又换了scala2.10.0,报错更离谱了,
大概是这样的,
Error compiling sbt component 'compiler-interface-2.10.0-52.0'

于是换了最终的2.11.0版本,没有问题了。


有必要说一说项目构建方法吧,不过网上资料已经很多很详细了,我再稍微废话一下吧。

1.如果没有安装scala插件我们去插件仓库搜索一下scala,安装后重启ide
IntelliJ Idea构建Spark(scala)项目_第1张图片
2.安装好了新建scala工程
IntelliJ Idea构建Spark(scala)项目_第2张图片
3.选择scala的sdk版本,没有的点create,download下载一个。
IntelliJ Idea构建Spark(scala)项目_第3张图片
4.scala项目创建好了,我们需要导入spark的jar包,去spark官网下载,我们下载的是hadoop2.6.0
IntelliJ Idea构建Spark(scala)项目_第4张图片
5.我们下载后解压,找到里边的jars文件夹,导入ide中,
IntelliJ Idea构建Spark(scala)项目_第5张图片
IntelliJ Idea构建Spark(scala)项目_第6张图片
IntelliJ Idea构建Spark(scala)项目_第7张图片
6.选择那个jars包就好了。

你可能感兴趣的:(Hadoop,Spark)