13_spark_core_累加器_累加器原理

13_spark_core_累加器_累加器原理

  • 累加器原理解析

累加器原理解析

13_spark_core_累加器_累加器原理_第1张图片
一:两条线:要么自定义累加器,然后使用累加器,要么使用系统自带累加器
二:图解----自定义累加器原理
(1)自定义累加器
(2)使用累加器
(3)累加器怎么求和的
Driver端有两个Executor,定义一个acc,其实就是一个空map,利用定义copy方法,往每个Executor传了一个空map,例如图中两个map进行累加,怎么累加的,使用add方法,单个executor分区内的聚合逻辑,看有没有,有,遇见一个加一个1,然后两个Executor把聚合后的结果返回driver端,driver端两个map进行聚合,按照merge方法走聚合。

你可能感兴趣的:(大数据,spark3.0,spark_core,大数据,spark)