spark独立集群管理器的安装配置

我是在ubuntu14.04上安装配置spark的。spark的版本是2.3.0。

首先是很重要的准备工作，配置各台机器的主机名hostname。可先输入命令hostname查看机器的当前主机名。

编辑/etc/hostname，修改主机名，每台机器都改成不一样的。改完后再输入hostname查看，会发现没变，改了这个文件是要重启后才会变的。直接执行hostname <主机名>即可。例如将hostname改成server229：

hostname server229

然后修改/etc/hosts，将各机器的ip和主机名配置进去，因为spark内很多通信都是通过主机名去访问的，所以需要配一下：

127.0.0.1	localhost
127.0.1.1	selfserver229
192.168.18.228  server228
192.168.18.225  server225
192.168.18.223  server223
192.168.18.229  server229
192.168.18.226  server226
192.168.18.206  server206

比如我上面这个，该台机器的ip是192.168.18.229。127.0.0.1和127.0.1.1中两个是本来就有的，其中127.0.1.1和原来hostname里的主机名是一样的，我这里特地改成不一样的。hostname里的主机名配到该机器的物理ip上。

检验是否配置好，ping <主机名>就可以了

ping server225

在master和slave上都配置好后可以开始安装配置spark。

先在master和slave上分别解压spark的安装包spark-2.3.0-bin-hadoop2.7.tgz。

tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz

首先配置master，进入解压后的conf目录，找到spark-env.sh.template。将它复制并重命名为spark-env.sh（就是把最后的template去掉）。然后打开spark-env.sh。

这个文件里面默认应该都是注释，解释了每一个配置项。我们只需加入SPARK_MASTER_HOST=<本机IP>例如:

SPARK_MASTER_HOST=192.168.18.225

感觉如果正确配置了主机名，这个不配也没事吧。。

嗯，然后就没有了，配完了。。

启动master。进入spark目录下的sbin目录，执行启动脚本：

./start-master.sh

可以通过netstat -ltn查看端口占用情况，spark master默认会占用8080和7077等端口，8080用于网页访问，7077用于和slave间通信。

打开浏览器，输入http://:8080，看到类似这样的界面，只是现在还没有worker

master启动完后，启动slave

slave的启动比较简单了，已经不需要配什么了，直接到sbin目录下执行start-slave的脚本就可，例如：

./start-slave.sh spark://192.168.18.225:7077

后面跟的地址就是master的地址，在刚刚上面master的网页上也有。slave都启动完后刷新master的网页，就看到上面那个图里那样了，workers下面就有节点了。

至此spark集群就安装配置完成了。

未经允许，禁止转载 https://blog.csdn.net/redstarofsleep

更多内容请关注公众号：