Spark中的Driver和Executor

Driver和Executor任务的管理者

1.Driver(线程)和Executor(计算对象)是spark中的临时程序,只有执行程序时,才会启动,程序执行完,即死亡

2.Driver
2.1 Spark shell 预加载的一个叫做sc的Spark Context对象
2.2 将用户程序转换成作业(Job)
2.3负责跟踪Executor的运行状况
2.4 UI展示应用运行状况
2.5 为执行器节点调度任务

3.Executor
3.1 负责执行spark的具体任务

你可能感兴趣的:(spark,spark,大数据)