spark命令

spark目录下有sbin和bin，sbin主要针对启动和停止，bin是spark运行相关。

出现过standalone集群跑久了，stop命令失效的情况，这个时候需要kill -9直接强制杀死所有worker和master进程。

一、启动，按启动顺序执行命令。如果需要关闭集群，则按反顺序执行即可。

spark HA

在master1上启动master，执行：sbin/start-master.sh

在master2上启动master，执行：sbin/start-master.sh

在所有slave节点上启动slave，执行：sbin/start-slave.sh

非spark HA

1).在master上启动master和所有的slaves，执行：sbin/start-all.sh

2).在master上启动master，执行：sbin/start-master.sh

    在master上启动所有的slaves，执行：sbin/start-slaves.sh

二、bin/spark-shell使用，具体请使用bin/spark-shell --help查看使用帮助

bin/spark-shell --master spark://hadoop2:7077,hadoop3:7077 --deploy-model client

启动spark shell，--master：链接spark集群的master地址，--deploy-model：驱动程序的运行模式