使用Intellij Idea搭建Spark开发环境

环境:

Cent OS 6.7
jdk1.8.0_101
Spark-1.6.3-bin-hadoop2.6.tgz

下载安装包

前去官网下载Spark-1.6.3-bin-hadoop2.6.tgz;或者是自己编译源码生成想要的对应的hadoop版本。
在centos下解压缩到指定目录(笔者为/usr/local/)

$tar -zxvf Spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local/

下载Intellij Idea

前去官网下载Intellij Idea(linux 版本) ;

在centos下解压缩,运行;

$tar -zxvf ideaIC-2016.3.4.tar.gz -C /usr/local
$sudo mv ideaIC-163.12024.16 idea
$./idea/bin/idea.sh    //运行画面如下

使用Intellij Idea搭建Spark开发环境_第1张图片


请下载安装scala plugin


使用Intellij Idea搭建Spark开发环境_第2张图片

选择install JetBrains plugins是在线安装,若网速不好,可选择install plugin from disk。

下载对应的scala插件,笔者下载的是scala-intellij-bin-2016.3.4.zip。导入即可

安装成功的画面如下:

使用Intellij Idea搭建Spark开发环境_第3张图片

创建scala项目

使用Intellij Idea搭建Spark开发环境_第4张图片
使用Intellij Idea搭建Spark开发环境_第5张图片


若没有Scala-sdk-2.10.5,则需要在centos上下载2.10.5的安装包,解压,配置环境变量即可。

$vim ~/.bashrc
末尾添加
export SCALA_HOME=/usr/local/scala-2.10.5
export PATH=$PATH:$SCALC_HOME/bin
$source ~/.bashrc

创建scala程序

使用Intellij Idea搭建Spark开发环境_第6张图片

使用Intellij Idea搭建Spark开发环境_第7张图片

使用Intellij Idea搭建Spark开发环境_第8张图片

编写scala程序Hello World

使用Intellij Idea搭建Spark开发环境_第9张图片

添加依赖,打jar包

File->Project Structure->在右侧选择Artifacts->JAR->From modules with dependencies

使用Intellij Idea搭建Spark开发环境_第10张图片

build–>build Artifacts
使用Intellij Idea搭建Spark开发环境_第11张图片

注:因为spark运行程序需要以jar包的形式在集群上运行,也可在IDEA编译器中运行,按照如下设置:

使用Intellij Idea搭建Spark开发环境_第12张图片

VM options: -Dspark.master=local

参考:

heybiiiiii:Spark(八) – 使用Intellij Idea搭建Spark开发环境

你可能感兴趣的:(Spark)