spark standalone模式

standalone模式是spark自己的资源调度框架,由master和worker组成.
master有一个workerinfo的数组,里边有worker的基本信息,包括core数,内存,最后通信时间
master运行一个过滤的定时任务,按照worker的通信时间进行过滤,把断开的worker移除
worker启动后向master发送注册消息,包含自己的基本信息,每次心跳里边是没有当前的资源负载情况的,
因为spark是一个粗粒度的资源管理方式,master会记录每次执行任务时向worker申请了多少资源,当任务结束后,在加上这部分资源就可以了.

你可能感兴趣的:(spark standalone模式)