Spark中mapToPair和flatMapToPair的区别

本文介绍了Spark中mapToPair和flatMapToPair的区别。

 

函数原型

1.JavaPairRDD mapToPair(PairFunction f)

此函数会对一个RDD中的每个元素调用f函数，其中原来RDD中的每一个元素都是T类型的，调用f函数后会进行一定的操作把每个元素都转换成一个类型的对象

2.JavaPairRDD flatMapToPair(PairFlatMapFunction f)

此函数对对一个RDD中的每个元素(每个元素都是T类型的)调用f函数，通过f函数可以将每个元素转换为类型的元素，然后比mapToPair方法多了一个flat操作，将所有的类型的元素合并成为一个Iterable>类型的对象。

使用说明

在使用时mapToPair会将一个长度为N的、每个元素都是T类型的对象，转换成另一个长度为N的、每个元素都是类型的对象；而flatMapToPair会在map的基础上进行一个flatten操作，即将所有的元素合并到一个Iterable<>类型的集合中。

 

---

文章最后，给大家推荐一些受欢迎的技术博客链接：

1. Hadoop相关技术博客链接
2. Spark 核心技术链接
3. JAVA相关的深度技术博客链接
4. 超全干货--Flink思维导图，花了3周左右编写、校对
5. 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
6. 请谈谈你对volatile的理解？--最近小李子与面试官的一场“硬核较量”
7. 聊聊RPC通信，经常被问到的一道面试题。源码+笔记，包懂

 

---

欢迎扫描下方的二维码或 搜索 公众号“10点进修”，我们会有更多、且及时的资料推送给您，欢迎多多交流！