对Spark中Broadcast的理解

用Broadcast广播的变量是只读变量,可以有效的保持数据的一致性。
Broadcast的Storage Level是MEMORY_AND_DISK方式,所以不会造成内存溢出。
Broadcast广播的变量只会在Executor中保存一份,同一个Executor中所有task共享该变量,可以有效的减少内存的开销。
对Spark中Broadcast的理解_第1张图片

你可能感兴趣的:(Spark)