王家林每日大数据语录Spark篇0019(2015.11.10于重庆)

park中的Task分为ShuffleMapTask和ResultTask两种类型,在Spark中DAG的最后一个Stage内部的任务都是ResultTask,其余所有的Stage(s)的内部都是ShuffleMapTask,生成的Task会被Driver发送到已经启动的Executor中执行具体的计算任务,执行的实现是在TaskRunner.run方法中完成的。


你可能感兴趣的:(王家林,王家林语录,王家林spark)