spark on mesos Coarse Mode 调度模式的改变

在spark2.0以前，spark on mesos粗粒度模式中，一个application不支持在一个slave上启动多个executor，因此会造成资源（cpu，memory）浪费的问题。

一. 旧的调度方式

因为一个application在同一个slave中只能启动一个executor，所以可能会产生以下两种情况的发生。

1. 造成内存资源浪费

   

   这里写图片描述

2. 造成cpu资源浪费

   

   这里写图片描述

可以发现，旧的调度模式对每个spark executor的资源无法做到准确配置，同一个任务启动的多个executor，有些cpu资源过剩，有些则是内存资源过剩。非常容易造成长时间的GC或者OOM的问题，且问题难以定位。

尽管可以通过一台物理机上启动多个slave来解决这个问题，但是就限制了资源的最大使用量，管理也不便。

二. 新的调度方式

在SPARK-5095中进行了修改。增加了对每个executor的cpu使用的限制。启动的executor的数量由spark.cores.max/spark.executor.cores 控制。

这里写图片描述

executor的资源可控对spark任务运行的稳定性以及整个集群的资源利用率都有较大的提升。

避免了同一个application多次运行，有时成功有时失败(shuffle,gc引起)的问题。