spark 部署方式

spark部署方式
目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN


Standalone模式
即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。


Spark On Mesos模式
官方推荐这种模式（当然，原因之一是血缘关系）.
1)粗粒度模式
1)细粒度模式


spark on yarn 的支持两种模式： 
1) yarn-cluster：适用于生产环境； 
2) yarn-client：适用于交互、调试，希望立即看到app的输出 


http://blog.csdn.net/u013063153/article/details/53635845


总结： 
这三种分布式部署方式各有利弊，通常需要根据实际情况决定采用哪种方案。进行方案选择时，
上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。而如果你数据量不是很多，Standalone 是个不错


的选择。当你需要统一管理集群资源（Hadoop、Spark等），那么你可以选择Yarn或者mesos，但是这样维护成本就会变高。 
· 从对比上看，mesos似乎是Spark更好的选择，也是被官方推荐的 
· 但如果你同时运行hadoop和Spark,从兼容性上考虑，Yarn是更好的选择.如果你不仅运行了hadoop，spark。还在资源管理上运行了docker，Mesos更加通用。 
· Standalone对于小规模计算集群更适合！