map与flatmap的区别

1.map与flatmap的区别:

map对列表中的每个元素应用一个函数,返回应用后的元素所组成的列表。

flatMap是一种常用的组合子,结合映射[mapping]和扁平化[flattening]。 flatMap需要一个处理嵌套列表的函数,然后将结果串连起来。

flatmap:

2.join

 

 Join:Join类似于SQL的inner join操作,返回结果是前面和后面集合中配对成功的,过滤掉关联不上的

注意:1.初始化的时候为列表,其他形式不一样。

           2.注意合并的方式

3.

split传入字符串输出列表

4.reducebykey

5.textFile读取每一行是按字符串读的,然后产生一个列表。

你可能感兴趣的:(pyspark)