spark on yarn

简单的spark on yarn不需要什么额外的配置，只要 HADOOP_CONF_DIR和YARN_CONF_DIR配置在环境变量里，（然后spark standalone能跑起来，说明spark部署成功）。

启动spark的history server（spark on yarn日志监控可以启动history server进行监控。还可以使用yarn的监控），master和worker不需要启动。然后就可以使用sprak-submit命令提交job了。

参考：

Spark1.0.0 on YARN 模式部署

Running Spark on YARN