from pyspark import SparkConf, SparkContext
import os
# 让PySpark知道Python的解释器位置
os.environ['PYSPARK_PYTHON'] = "C:/Python310/python.exe"
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
# 准备一个RDD
rdd = sc.parallelize([1, 2, 3, 4, 5])
# 通过map方法将全部数据乘以10
# func:(T) -> U 表示传入参数和返回值都要有一个
# def func(data):
# return data * 10
# map函数就是将 rdd 列表中的每个元素传入func进行调用
#rdd2 = rdd.map(func)
# 链式调用(函数返回要始终相同)
rdd2 = rdd.map(lambda x: x * 10).map(lambda x: x + 3)
print(rdd2.collect())
sc.stop()
输出结果:
[13, 23, 33, 43, 53]
from pyspark import SparkConf, SparkContext
import os
# 让PySpark知道Python的解释器位置
os.environ['PYSPARK_PYTHON'] = "C:/Python310/python.exe"
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
# 准备一个RDD
rdd = sc.parallelize(["i love you", "you love me", "hello world"])
# 需求:将RDD数据里面的每个单词提取出来
rdd2 = rdd.map(lambda x: x.split(""))
print(rdd2.collect())
输出结果:
[[‘i’, ‘love’, ‘you’], [‘you’, ‘love’, ‘me’], [‘hello’, ‘world’]]
发现使用map
和我们预期不一致,我们希望就只有一层的list
,那么我们可以调用flagMap
解决这个问题,即将 rdd.map(lambda x: x.split(“”)) 改变为 rdd.flatMap(lambda x: x.split(“”)),输出的结果为:
[‘i’, ‘love’, ‘you’, ‘you’, ‘love’, ‘me’, ‘hello’, ‘world’]