spark命令

spark目录下有sbin和bin,sbin主要针对启动和停止,bin是spark运行相关

出现过standalone集群跑久了,stop命令失效的情况,这个时候需要kill -9直接强制杀死所有worker和master进程。

一、启动,按启动顺序执行命令。如果需要关闭集群,则按反顺序执行即可。

spark HA

在master1上启动master,执行:sbin/start-master.sh

在master2上启动master,执行:sbin/start-master.sh

在所有slave节点上启动slave,执行:sbin/start-slave.sh

非spark HA

1).在master上启动master和所有的slaves,执行:sbin/start-all.sh

2).在master上启动master,执行:sbin/start-master.sh

    在master上启动所有的slaves,执行:sbin/start-slaves.sh

二、bin/spark-shell使用,具体请使用bin/spark-shell --help查看使用帮助

bin/spark-shell --master spark://hadoop2:7077,hadoop3:7077 --deploy-model client

启动spark shell,--master:链接spark集群的master地址,--deploy-model:驱动程序的运行模式


 

你可能感兴趣的:(spark命令)