PySpark RDD 的使用

PySpark RDD 的使用

1.1 RDD的创建

Spark RDD的程序入口对象是SparkContext对象，使用RDD需要先创建一个SparkContext对象

from pyspark import SparkConf, SparkContext
import os

if __name__ == '__main__':
	# 设定路径（你的路径）
    os.environ['SPARK_HOME'] = '/opt/spark-3.2.3'
    os.environ["PYSPARK_PYTHON"] = "/usr/bin/python3"
    os.environ["PYSPARK_DRIVER_PYTHON"] = "/usr/bin/python3"
    os.environ["HADOOP_CONF_DIR"] = "/opt/hadoop-2.7.2"
    # 创建SparkContext对象（本地运行）
    conf = SparkConf().setAppName("Test").setMaster("local[*]")
    # 集群yarn运行
    # conf = SparkConf().setAppName("Test").setMaster("yarn")
    # 依赖文件同步提交
    # conf.set("spark.submit.pyFiles", 依赖文件或多个文件打包成的zip)
    sc = SparkContext(conf=conf)
    

随后我们可以选择两种RDD的创建方式

• rdd = sc.parallelize(c: Iterable[T], numSlices: int | None = …) 本地对象转分布式RDD即手动创建

• rdd = sc.textFile(name: str, minPartitions: int | None = …, use_unicode: bool = …) 读取文件或目录，本地、hdfs数据皆可

  或 rdd = sc.wholeTextFiles(name: str, minPartitions: int | None = …, use_unicode: bool = …) 读取小文件或目录，本地、hdfs数据皆可

1.2 RDD算子

算子：分布式集合化对象的API叫做算子

• Transformation算子 返回值仍是一个RDD算子的，称之为转换算子
• Action算子 返回值不是RDD的就是Action算子

转换算子没有Action算子无法工作

1.3 常用Transformation算子

$map算子$

功能：将RDD中的数据一条条按给定函数处理，返回RDD

例：words_with_one_rdd = words_rdd.map(lambda x: (x, 1)) # 将全是单词的RDD转换为（单词，1）的元组形式

$flatMap算子$

功能：对RDD先执行map操作，然后进行解除嵌套操作

解除嵌套：[[1, 2, 3], [4, 5, 6]] - > [1, 2, 3, 4, 5, 6]

$reduceByKey算子$

功能：针对KV型RDD，自动按照key分组，然后根据给定聚合逻辑。完成组内value的聚合

例：result_rdd = words_with_one_rdd.reduceByKey(lambda a, b: a + b) # 按照key分组，并加和key相同的

$mapValues算子$

功能：针对二元元组RDD，只对其Value进行map操作

$groupBy算子$

功能：将RDD的数据进行分组

groupyBy传入的函数的意思是按照谁来分组（返回谁即可）

例：result.groupBy(lambda t: t[0]) # 按照key来分组

后接rdd.map(lambda x: (x[0], list(x[1]))) 转换成[(key,list[]),]的形式

$Filter算子$

功能：过滤出想要的数据，返回值是true的得以保留，false的被丢弃

$distinct算子$

功能：对RDD数据进行去重，返回新RDD，一般当作无参

$union算子$

功能：两个RDD合并成一个RDD返回，不去重

$join算子$

功能：对两个RDD执行join操作（可实现SQL的内/外连接），按照二元元组key来连接

用法：

• rdd.join(other_rdd) # 内连接

• rdd.leftOuterJoin(other_rdd) # 左外

• rdd.rightOuterJoin(other_rdd) # 右外

$intersection算子$

功能：求两个RDD的交集，返回一个新的RDD

$glom算子$

功能：将RDD的数据加上嵌套，按照分区分割

例：RDD[1, 2, 3, 4, 5]两个分区，glom后变成[ [1, 2, 3], [4, 5] ]

$groupByKey算子$

功能：针对KV型数据，自动按照key分组

用法：rdd.groupByKey()

$sortBy算子$

功能：对RDD数据进行排序，基于你的排序依据

用法：

rdd.sortBy(func, ascending=False, numPartitions=1)

# func 按照什么规则排序， lambda x: x[1] 表示按第二列元素排序

# ascending True升序， False降序

# numPartitons：用多少分区排序，全局有序需设置为1

$sortByKey算子$

功能：针对KV型，按照key进行排序

用法：

sortByKey(ascending=True, numPartitions=None, keyfunc=>)

# ascending True升序， False降序

# numPartitons：用多少分区排序，全局有序需设置为1

# keyfunc：在排序前对key进行处理，(k) -> U

1.4 常用Action算子

$countByKey算子$

功能：统计key出现的次数

$collect算子$

功能：将RDD各个分区内的数据，统一收集到driver中，形成一个list对象

$reduce算子$

功能：对RDD数据集按照你传入的逻辑进行聚合

$fold算子$

功能：接受传入逻辑进行聚合，聚合带有初始值，初始值作用在分区间和分区内

例：[[1, 2, 3], [4, 5, 6], [7, 8, 9]] 以10为初始值累加聚合，分区1聚合得16，分区2聚合得25，分区3聚合得34，最终得到 16 + 25 + 34 + 10 = 85

$first算子$

功能：取出RDD的第一个元素

$takeSample算子$

功能：随机抽样RDD的数据

用法：

takeSample(参数1：True or False, 参数2： 采样数, 参数3：随机数种子)

# 参数1：True表示有放回抽样，False表示不放回抽样

# 参数2：抽样抽几个

# 参数3：随机数种子

$takeOrderd算子$

功能：对RDD进行排序，并取前N个

用法：

takeOrderd(参数1, 参数2)

# 参数1：取几个

# 参数2：改变数据使顺序改变，底层依然按自然顺序升序排序（临时，不改变原数据）

# rdd.takeOrderd(3, lambda x: -x) 原数据按相反数排序，最大的变成最小的，即升序变成倒序

$foreach算子$

功能：对RDD的每一个数据执行操作，没有返回值，经由executor执行

用法：

foreach(func)

# func: (T)->None

# rdd.foreach(lambda x: print(x * 10))

$saveAsTextFile算子$

功能：将RDD的数据写入文本系统中，本地或hdfs，经由executor执行

1.5 分区操作算子

$mapPartitions算子$ - Transformation

功能：相比较map一个个传递数据，此算子一次传递一整个分区的数据，与map功能类似

例：rdd.mapPartitions(lambda ita: i*10 for i in ita )

$foreachPartition算子$ - Action

功能：和普通foreach一致，一次处理的是一整个分区数据，无返回值

$partitionBy算子$ - Transformation

功能：对RDD进行自定义分区操作

用法：

partitonBy(参数1, 参数2)

# 参数1：重新分区后有几个分区

# 参数2：自定义分区规则，函数传入(k) -> int 返回一个分区编号（从0开始）

例：

$repartition算子$ - Transformation

功能：对RDD的分区执行重新分区（数量）

用法：

repartition(参数：分区数)

$coalecse算子$ - Transformation

功能：对RDD的分区执行重新分区（数量），但有安全机制，增加分区要设定shuffer布尔值