spark的键值对的行动操作

先上图

from pyspark import SparkContext

if __name__ == "__main__":
    master = "local"
    if len(sys.argv) == 2:
        master = sys.argv[1]
    try:
        sc.stop() 
    except:
        pass
    sc = SparkContext(master, 'test')

 
    RDD1 =sc.parallelize( (("a", 4.0), 
                           ("e", 4.4), 
                          ("f", 4.3),
                          ("b", 4.7),
                          ("c", 4.9), 
                          ("d", 4.5),
                                 ))
    print(RDD1.countByKey())
    print(RDD1.collectAsMap())
    print(RDD1.lookup("d"))

结果：
可以看到RDD1.countByKey()是对键进行计数，
RDD1.collectAsMap()是输出字典，
RDD1.lookup("d")是直接输出查找的值

defaultdict(, {'f': 1, 'c': 1, 'a': 1, 'd': 1, 'b': 1, 'e': 1})
{'f': 4.3, 'c': 4.9, 'a': 4.0, 'd': 4.5, 'b': 4.7, 'e': 4.4}
[4.5]