centos6.3搭建spark-streaming开发环境

环境准备

• JDK > 1.7
• Maven > 3.3.0
• Scala > 2.10
• IDE(IntelliJ IDEA)

一. java8环境

http://www.mamicode.com/info-detail-613410.html

#查看已安装java，将旧的删除
java -version
yum remove java-1.7.0-openjdk
#yum库中有哪些jdk版本
yum search java|grep jdk
#安装java1.8，运行环境和开发环境
yum install java-1.8.0-openjdk
yum install java-1.8.0-openjdk-devel
#默认安装在了/usr/lib

二.maven安装

http://maven.apache.org/install.html

#下载maven
wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
#解压
tar xzvf apache-maven-3.5.0-bin.tar.gz
#windows上和Linux安装一样，配置环境变量即可

• 环境变量配置

# vim /etc/profile 末尾加入
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el6_9.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
PATH=/usr/lib/apache-maven-3.5.0/bin:$PATH
export JAVA_HOME JRE_HOME CLASS_PATH PATH

# 保存profile执行下命令
source /etc/profile

三.scala安装

http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Linux.html

http://www.scala-sbt.org/0.13/docs/zh-cn/Hello.html

#红帽企业版Linux和其他基于RPM的发行版使用RPM格式。 从终端运行下面的命令安装sbt
curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
sudo yum install sbt

#使用时直接输入
sbt
...
run
...

Intellij IDEA安装scala

image.png

2. 下载scala包，配置path环境变量

这里下载 http://www.scala-lang.org/download/

3. 如果intellij报错的话，可以调整本地库

image

image