Spark 中 map 与 flatMap 的区别

通过一个实验来看Spark 中 map 与 flatMap 的区别。


步骤一:将测试数据放到hdfs上面

hadoopdfs -put data1/test1.txt /tmp/test1.txt

该测试数据有两行文本:

Spark 中 map 与 flatMap 的区别_第1张图片


步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt


步骤三:查看map函数的返回值

得到map函数返回的RDD:

查看map函数的返回值——文件中的每一行数据返回了一个数组对象

Spark 中 map 与 flatMap 的区别_第2张图片


步骤四:查看flatMap函数的返回值

得到flatMap函数返回的RDD:

查看flatMap函数的返回值——文件中的所有行数据仅返回了一个数组对象

Spark 中 map 与 flatMap 的区别_第3张图片


总结:

- Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;

- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

   操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

   操作2:最后将所有对象合并为一个对象







你可能感兴趣的:(spark)