Flink系列：Broadcast的使用方法

 

区别

DataStream 中的 Broadcast （分区规则）：分区规则是把元素广播给所有的分区，数据会被重复处理

DataStream.broadcast ()

 

 

Flink 中的 Broadcast（广播变量〉功能

Broadcast可以理解为一个公共的共享变量。可以把一个 DataSet（数据集）广播出去，不同的Task在节点上都能够获取到它，这个数据集在 每个节点上只会存在一份。

如果不使用，则需要每个节点的每个task都要保存一份（一个节点存在多份）

 

 

Flink Broadcast和Accumulator 的区别

• Broadcast 允许将1个只读的变量缓存在多台机器上，而不用在任务之间传递变量。广播变量可以进行共享 ，但是不可以进行修改

• Accumulator 可以在不同任务中对同1个变量进行累加操作，但是只有在任务执行 结束的时候才能获得累加器的最终结果