Hadoop伪分布式-----Spark的安装和配置

在前面几章已经搭建好Hadoop环境，本节主要介绍在Hadoop基础上搭建Spark平台

1 下载所需安装包

1）下载spark安装包      2）下载Scala安装包，并解压安装包本例以下面版本为例

2配置环境变量

利用命令sudo gedit /etc/profile配置如下环境变量

3 查看Scala版本

4 配置Spark

将 spark -env.sh.template  拷贝到 spark-env.sh 配置如下变量

5 启动Hadoop和Spark集群

5.1 启动Hadoop集群

1)  ssh localhost

2)  hadoop  namenode -format(多次格式化可能导致datanode启动不了，这是需要查看日志把nameid和dataid配置相同数字即可)

3)  start -all.sh 输入jps出现如下图则正确启动

5.2  启动Spark集群

1）进入spark的sbin目录输入 ./start-all.sh出现如下图所示则正确启动

6 测试Spark

进入Spark 的bin目录的spark-shell控制台

7 使用web页面监控集群状态