每日一记—20171123

今天在做执行spark脚本的网关系统，网关系统是用java写的一个项目，向外部提供了http接口，这些http接口的主要工作是执行服务器上的一些shell脚本，shell脚本执行spark命令。shell脚本里面就是一些spark-submit的命令，开始的时候shell脚本执行spark命令没有使用nohup来执行，spark任务最多只能执行三个，再去提交就不会被提交到yarn上面，后来改成了使用nohup去执行spark命令之后就完美解决这问题，使用nohup去执行spark，还可以将信息打印到文件里面去。