Spark_Map与MapPartition 的区别_未完待续

 

参考文章 :https://www.cnblogs.com/schoolbag/p/9640990.html

 

在Spark中有map和mapPartitions算子,处理数据上,有一些区别

主要区别:

 map是对rdd中的每一个元素进行操作;

 mapPartitions则是对rdd中的每个分区的迭代器进行操作

MapPartitions的优点:

   如果是普通的map,比如一个partition中有1万条数据。ok,那么你的function要执行和计算1万次。

    使用MapPartitions操作之后,一个task仅仅会执行一次function,function一次接收所有
的partition数据。只要执行一次就可以了,性能比较高。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接而mapPartition为每个partition创建一个链接),则mapPartitions效率比map高的多。

SparkSql或DataFrame默认会对程序进行mapPartition的优化。

总结 :

   MapPartiton 的性能较高

 

MapPartitions的缺点:

(未遇到过mapPartition OOM , 遇到的欢迎评论 !!!)

   如果是普通的map操作,一次function的执行就处理一条数据;那么如果内存不够用的情况下, 比如处理了1千条数据了,那么这个时候内存不够了,那么就可以将已经处理完的1千条数据从内存里面垃圾回收掉,或者用其他方法,腾出空间来吧。
所以说普通的map操作通常不会导致内存的OOM异常。 )

   但是MapPartitions操作,对于大量数据来说,比如甚至一个partition,100万数据,一次传入一个function以后,那么可能一下子内存不够,但是又没有办法去腾出内存空间来,可能就OOM,内存溢出。

总结:

  MapPartition 有可能会导致内存溢出,数据一次获取过多 !!

 

相应的案例

 

你可能感兴趣的:(Spark)