Spark on YARN集群动态扩容

基础工作

1. 新增节点上安装scala;
2. 新增节点上新建用于存放spark数据和日志的目录;
3. 将新增节点的主机名添加到slaves文件中;
4. 复制spark配置好的安装包到新增节点;
5. 在新增节点上配置spark环境变量

添加worker

如果Spark集群使能了External Shuffle Service功能，添加worker需要采用如下方式

1. 在spark的master节点上执行如下命令，停止整个spark集群

stop-all.sh

2. 在YARN的ResourceManager节点上执行如下命令，停止整个yarn集群

stop-yarn.sh

3. 在spark的master节点上执行如下命令，启动整个spark集群

start-all.sh

4. 在YARN的ResourceManager节点上执行如下命令，启动整个yarn集群

start-yarn.sh

如果Spark集群未使能External Shuffle Service功能，添加worker需要采用如下方式

在新增的节点上启动worker，从而完成新节点的注册和加入集群

start-slave.sh spark://<worker>:7077

新增节点启动验证

在新增节点上执行jps命令，看是否有可以看到worker进程，或者查看Spark UI，看workers中是否有新增节点。