Spark 独立服务器的配置

• 首先介绍下我们的条件
  
  • 两台主机，都是ubuntu 16.4 192.168.46.128(master) 192.168.46.130(cluster)
  • 两台主机的用户名都为liang
  • 两台主机的spark都为2.1.0 都放置在/usr/local/spark/目录下
• 确保128可以ssh连接到130
  
  • ubuntu 一般自带的有ssh client 但是我们想让130被链接，我们要给130配置ssh server
  • apt-get install openssh-server
  • ps -s | grep ssh 查看有没有sshd服务启动，如果没有/etc/init.d/ssh start 启动服务
  • 我们可以在128上测试 ssh 192.168.46.130 看能否连接至130
  • 如果觉得ssh输入密码麻烦，http://chenlb.iteye.com/blog/211809 无密码ssh登陆
• 修改主节点下的conf/slaves
  

• 启动所有的节点

  • 在主节点上运行 sbin/start-all.sh 启动所有的节点
  • 运行http://localhost:8080 查看管理页面
    
  • 运行pyspark –master spark://ubuntu:7077 来测试，我们可以在localhost:8080上看到我们的程序