Spark学习之(二)Spark 集群环境搭建(standalone)

Spark 集群环境搭建(standalone)

2017115,星期日

19:11

接上文hdfs集群搭建,我分别在四个node(一个master.hadoop 三个slave node)上搭建spark集群,这个集群是standalone模式。

spark集群安装也需要配置无密码登录,因为我之前安装hadoop时已经安装过了,所以这次就不用在重新配置了。

  

安装步骤

  1. 下载spark安装包 spark-2.2.0-bin-hadoop2.7 解压缩到/usr 下面

    注意解压缩后修改文件夹名字为 spark

    Spark学习之(二)Spark 集群环境搭建(standalone)_第1张图片

  

  1. 配置spark配置文件

    spark-env.sh

      

    slaves 文件

      

    在slaves机器上依次执行以上两个步骤以完成spark的安装

  2. 启动集群

      

    Spark学习之(二)Spark 集群环境搭建(standalone)_第2张图片

    Spark学习之(二)Spark 集群环境搭建(standalone)_第3张图片  

    至此spark集群搭建成功

  

  

  

  

  

你可能感兴趣的:(大数据)