关于后台启动spark-submit的操作

版本信息：Centos7.3  3台

hadoop版本：hadoop-2.6.0-cdh5.7.0

hbase版本：hbase-1.2.0-cdh5.7.0

spark版本：spark-2.2.0-bin-2.6.0-cdh5.7.0

zookeeper：zookeeper-3.4.5-cdh5.7.0

最近在使用spark-submit提交SparkStreaming项目的时候，遇到一个问题，在提交任务之后，一旦关闭shell命令行，就会关闭spark-submit进程，从而中断任务。那么考虑到命令窗口被关闭或者电脑因断电等异常原因，spark-submit程序也会终止运行，所以开始寻找是否能在后台一直运行spark-submit进程。

经过google后，得到结论为：使用nohup命令进行后台运行任务，命令如下：

nohup bin/spark-submit --class <完整包名.类名> --jars $(echo /opt/hbase-1.2.0-cdh5.7.0/lib/*.jar | tr ' ' ',' ) --master yarn --delopy-mode client <运行的项目jar包> &

之后会提示：

nohup ：忽略输入并把输出追加到"nohup.out" 。

输入任意字符串返回shell，再次jps可以发现spark-submit进程已经在后台运行了。