Spark1.6.1单节点环境搭建

本文搭建在Hadoop2.6.4单节点环境搭建的基础上进行

http://blog.csdn.net/u014662563/article/details/76888308

一、软件准备

1. scala-2.11.8.tar.gz

2. spark-1.6.1-bin-hadoop2.6.tar.gz

二、Scala安装配置

1. 下载解压scala-2.11.8.tar.gz

tar -zxvf scala-2.11.8.tar.gz -C /opt/Scala

2. 配置环境变量，编辑/etc/profile文件，在文件末尾添加以下内容：

3. 保存后运行source /etc/profile，使环境变量生效。

4. 输入scala -version可以看到JDK成功安装的版本信息。

四、Spark安装配置

1. 下载解压spark-1.6.1-bin-hadoop2.6.tar.gz

tar -zxvf spark-1.6.1-bin-hadoop2.6.tar.gz -C /opt/Spark

2. 修改/etc/profile文件，在文件末尾添加以下内容：

3. 保存后运行source /etc/profile，使环境变量生效。

4. 进入Spark安装目录下的conf目录，拷贝spark-env.sh.template到spark-env.sh

cp spark-env.sh.template spark-env.sh

5. 编辑spark-env.sh，在末尾添加配置信息：

6. 将slaves.template拷贝到slaves，编辑其内容：

五、启动Spark

1. 进入Spark安装目录的sbin，启动spark。

2. 使用jps命令查看进程信息。

3. 浏览器访问查看Spark信息

4.使用spark-shell，在sbin目录下输入spark-shell

5.Spark配置成功。