pyspark中map模型&&flatmap模型

---【map】---

 

 map方法，是对rdd中的每一个元素都进行操作。

【运行实例】：

from pyspark import SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"]="D:/python_set/py_run/python.exe"
conf=SparkConf().setMaster("local[*]").setAppName("run_pyspark")
sc = SparkContext(conf=conf)
# 准备一个rdd，其中以列表形式存储了五个数，分别是1，2，3，4，5
rdd = sc.parallelize([1, 2, 3, 4, 5, 6])
# 通过map方法，将所有数据全部都乘以10,map()括号中需要传入函数，这个被定义的函数必须能够接收一个参数的传入，能够返回一个返回值
# lambda函数：接收一个参数作为x，将x*10+5作为返回值(链式调用)
new_rdd = rdd.map(lambda x: x * 10).map(lambda x: x + 5)
# f:(T) -> U
print(new_rdd.collect())
sc.stop()

 

---【flatmap】---

 

 【运行实例】：

from pyspark import SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"]="D:/python_set/py_run/python.exe"
conf=SparkConf().setMaster("local[*]").setAppName("run_set")
sc = SparkContext(conf=conf)
# 准备一个rdd
"""flatMap的作用和map作用差不多一样，唯一的区别就是，flatmap会在最后解除一层数据嵌套"""
rdd = sc.parallelize(["python 111 333 555", "pycharm 444", "pyspark 4121", "666 4444"])
rdd = rdd.flatMap(lambda x: x.split(" "))
print(rdd.collect())