pyspark--RDD基本操作

spark中的RDD是一个核心概念，RDD是一种弹性分布式数据集，spark计算操作都是基于RDD进行的，本文介绍RDD的基本操作。

Spark 初始化

Spark初始化主要是要创建一个SprakContext实例，该实例表示与spark集群的连接。可以通过多种方式创建。

SparkContext

直接使用SparkContext类创建一个spark上下文，主要参数是指定master和appName。

from pyspark import SparkContext
sc = SprakContext(master = 'local[*]',appName='test')

SprakContext的属性

# spark版本
sc.version
'2.4.5'

# python版本
sc.pythonVer
'3.7'

# master地址
sc.master
'local[*]'

# 应用名字
sc.appName
'test'

# 应用id
sc.applicationId
'local-1596522649115'

SparkConf

还可以通过调用SparkConf配置类来生成spark上下文。

from pyspark import SparkConf, SprakContext
conf = SparkConf().setMaster('local').setAppName('test')
sc = SparkContext(conf=conf)

创建RDD

RDD是spark中的主要数据格式，名称为弹性分布式数据集，可以序列化python对象来得到RDD，或者读取文件。

序列化

# parallelize方法序列化python对象为RDD
rdd = sc.parallelize([('a', 7), ('a', 2), ('b', 2)])
rdd1 = sc.parallelize([2,5,1,8])
rdd2 = sc.parallelize([('a', 2), ('d', 1), ('b', 1)])
rdd3 = sc.parallelize(range(100))
rdd4 = sc.parallelize([('a', ['x', 'y', 'z']), ('b', ['p', 'r'])])

读取文件

# 读取本地json文件，返回RDD
text_file = sc.textFile("e:/a.json")

获取RDD信息

基本信息

# 获取rdd的分区数
rdd.getNumPartitions()
12

# 获取rdd的key
rdd.keys().collect()
['a', 'a', 'b']

# 获取rdd的value
rdd.values().collect()
[7, 2, 2]

# 判断rdd是否为空
rdd.isEmpty()
False

sc.parallelize([]).isEmpty()
True

统计信息

统计信息包含了基本的统计计算值，如最大值、最小值、平均数、描述统计等。

# 求和
rdd3.sum()
4950

# 最大值
rdd3.max()
99

# 最小值
rdd3.min()
0

# 均值
rdd3.mean()
49.5

# 标准差
rdd3.stdev()
28.86607004772212

# 方差
rdd3.variance()
833.25

# 分区间计数
rdd3.histogram(3)
([0, 33, 66, 99], [33, 33, 34])

# 描述统计
rdd3.stats()
(count: 100, mean: 49.5, stdev: 28.86607004772212, max: 99.0, min: 0.0)

处理RDD

切片/collect

# 获取rdd里的所有元素，返回list
rdd.collect()
[('a', 7), ('a', 2), ('b', 2)]

# 获取rdd里的元素，返回字典
rdd.collectAsMap()
{'a': 2, 'd': 1, 'b': 1}

# 获取开始的2个元素
rdd.take(2)
[('a', 7), ('a', 2)]

# 获取第一个位置的元素
rdd.first()
('a', 7)

# 获取降序排序的前3个元素
rdd3.top(3)
[99, 98, 97]

计数/count

# 统计rdd里的元素个数
rdd.count()
3

# 按key统计rdd里的元素个数
rdd.countByKey()
defaultdict(<class 'int'>, {'a': 2, 'b': 1})

# 按value统计rdd里的元素个数
rdd.countByValue()
defaultdict(<class 'int'>, {('a', 7): 1, ('a', 2): 1, ('b', 2): 1})

重采样/sample

# 对rdd进行重采样
rdd3.sample(False,0.1,81).collect()
[4, 27, 28, 41, 49, 53, 58, 85, 93]

过滤/filter

# 根据key过滤
rdd.filter(lambda x:'a' in x).collect()
[('a', 7), ('a', 2)]

去重/distinct

# 对rdd元素去重
rdd5.distinct().collect()
['a', 7, 2, 'b']

排序/sortBy

# 升序排序（默认）
rdd1.sortBy(lambda x:x).collect()
[1, 2, 5, 8]

# 降序排序
rdd1.sortBy(lambda x:x,ascending=False).collect()
[8, 5, 2, 1]

# 对键值对rdd按照key排序
rdd2.sortByKey().collect()
[('a', 2), ('b', 1), ('d', 1)]

映射/map

# map方法对每个元素应用函数
rdd.map(lambda x: x+(x[0],x[1])).collect()
[('a', 7, 'a', 7), ('a', 2, 'a', 2), ('b', 2, 'b', 2)]

# flatMap方法，返回的结果会扁平化
rdd5 = rdd.flatMap(lambda x: x+(x[0],x[1]))
rdd5.collect()
['a', 7, 'a', 7, 'a', 2, 'a', 2, 'b', 2, 'b', 2]

# flatMapValues方法
rdd4.flatMapValues(lambda x:x).collect()
[('a', 'x'), ('a', 'y'), ('a', 'z'), ('b', 'p'), ('b', 'r')]

迭代/foreach

def g(x):print(x)
# foreach方法对所有元素应用函数
rdd.foreach(x)
('a', 7)
('a', 2)
('b', 2)

简化/reduce

# reduce方法对rdd进行合并
rdd.reduce(lambda x,y:x+y)
('a', 7, 'a', 2, 'b', 2)

# reduceByKey方法根据key对value进行合并
rdd.reduceByKey(lambda v1,v2:v1+v2).collect()
[('a', 9), ('b', 2)]

分组/groupBy

# groupBy方法对rdd的元素分组
rdd1.groupBy(lambda x:x%2).mapValues(list).collect()
[(0, [2, 8]), (1, [5, 1])]

# groupByKey方法对rdd的元素根据key分组
rdd.groupByKey().mapValues(list).collect()
[('a', [7, 2]), ('b', [2])]

聚合/aggregate

# 定义两个聚合函数
seq_op=lambda x,y:(x[0]+y,x[1]+1)
comb_op=lambda x,y:(x[0]+y[0],x[1]+y[1])

# aggregate方法聚合rdd
rdd1.aggregate((0,0),seq_op,comb_op)
(16, 4)

# aggregateByKey方法根据key聚合rdd
rdd.aggregateByKey((0,0),seq_op,comb_op).collect()
[('a', (9, 2)), ('b', (2, 1))]

# fold方法聚合rdd
rdd1.fold(0,lambda x,y:x+y)
16

# foldByKey方法根据key聚合rdd
rdd.foldByKey(0,lambda x,y:x+y).collect()
[('a', 9), ('b', 2)]

合并/union

# 调用sc的union方法按顺序合并多个rdd
sc.union([rdd,rdd2]).collect()
[('a', 7), ('a', 2), ('b', 2), ('a', 2), ('d', 1), ('b', 1)]

集合/intersection,union,subtract

# 两个rdd的交集
rdd.intersection(rdd2).collect()
[('a', 2)]

# 两个rdd的并集(包含重复元素)
rdd.union(rdd2).collect()
[('a', 7), ('a', 2), ('b', 2), ('a', 2), ('d', 1), ('b', 1)]

# rdd对rdd2的补集
rdd.subtract(rdd2).collect()
[('a', 7), ('b', 2)]

# 根据key求rdd2对rdd的补集)
rdd2.subtractByKey(rdd).collect()
[('d', 1)]

# 两个rdd计算笛卡尔积
rdd1.cartesian(rdd1).collect()
[(2, 2), (2, 5), (2, 1), (2, 8), (5, 2), (5, 5), (5, 1), (5, 8), (1, 2), (1, 5), (1, 1), (1, 8), (8, 2), (8, 5), (8, 1), (8, 8)]

保存RDD

# 保存rdd到本地
rdd.saveAsTextFile('rdd.txt')

关闭spark

# 使用stop方法关闭spark context实例
sc.stop()

运行

进入spark安装目录下，通过sprak-submit命令运行py文件。

./bin/spark-submit example/src/main/python/pi.py

另外，本地开发，可直接通过pyCharm运行。