Linux集群部署Spark

一.系统环境安装

1. JDK下载、安装

JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

image.png

2. 上传文件到Linux系统(Centos7.0)

a.yum install -y lrzsz 执行命令,然后通过rz来上传
b.SSHSecureShellClient，Xshell等工具进行上传
c.tar -zxvf jdk-8u11-linux-x64.tar.gz -C /application

3. 配置JDK环境变量

export JAVA_HOME=/application/jdk1.8.0_11
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

4. 验证是否安装成功(javac java)

   
   
   image.png
   
   
   image

二.SSH免密登陆/虚拟机到本机映射

1.执行命令 yum install openssh-server 安装  openssh-server
2.设置本机密码登陆:
      # ssh-keygen -t rsa (一直Enter) 
      # cd /root/.ssh
      # cp id_rsa.pub authorized_keys
3.设置其他机器免密登陆:
      # ssh-copy-id -i 目标主机名 
/******************************************/
1.vim/vi /etc/hosts(参考)
      192.168.10.128 Master    
      192.168.1.129 firstFollow  
      192.168.10.130 secondFollow

二.Spark集群配置

1.省略上传解压Spark步骤 (spark-2.1.1-bin-hadoop2.7.tgz
2.配置spark,Scala环境变量
3.修改配置文件
        # cd cd /application/spark-2.1.1-bin-hadoop2.7/conf/    进入spark的conf目录下
        # mv spark-env.sh.template spark-env.sh
        # vim spark-env.sh
4.修改默认slaves.template配置
        # mv slaves.template slaves
        # vim slaves (添加剩余主机的机名)
5.启动和验证Spark(所有机器都操作完成后执行)
        A:启动:cd /application/spark-2.1.1-bin-hadoop2.7/sbin    ./start-all.sh
        B:验证: 访问 [http://192.168.10.128:8080/](http://192.168.10.128:8080/)        

image.png