RDD(resilient distributed dataset, 弹性分布式数据集)
RDD的特点
1、分布式
2、只读
3、血缘关系
4、缓存（默认缓存到内存）
5、从外部文件创建
6、从父RDD生成子RDD
7、支持本地磁盘文件
8、支持整个目录、多文件、通配符
9、支持压缩文件
10、支持HDFS
11、容错
RDD核心属性
调度和计算都依赖于这五个属性
- 分区列表
分布在哪台机器上 - 依赖列表
即血缘关系，需要记录下来，因为涉及到容错
宽窄依赖
-
窄依赖：一（父）对一（子）映射
image.png -
宽依赖：多（父）对一（子）映射（会影响到后面的执行计划）
会发生一种Shuffle操作----一种数据的传递（由于下游的RDD需要把上游的好几个task的结果拿过来会涉及到数据的传输）
image.png -
Shuffle
image.png
- Compute函数，用于计算RDD各分区的值
- 分区策略（可选）
数据是如何分布到各个节点上的 - 优先位置列表（可选，HDFS实现数据本地化，避免数据移动）
例
sc = spark.sparkContext
rdd = sc.textFile("d:/app.log") #新建rdd
rdd.collect() #查看rdd内容
rdd = sc.textFile("d:/app.log,d:/Sid_SAS_20180430.txt") #读取多个文件的话，用逗号隔开
rdd.collect()
还可以读取压缩文件
rdd = sc.textFile("d:/1-1G113144611.zip")
rdd.count() #查看有多少行
集合并行化
x = [1,2,3,4,5]
type(x)
rdd2 = sc.parallelize(x) #将数据转化为RDD
rdd2.collect()
type(rdd2) #查看是否转化为RDD
RDD支持哪些运算
1 Transformations
- 输入RDD，输出RDD
- 延迟执行
- 常用的Transformation
| Transformation | 含义 |
|---|---|
| map(func) | 返回一个新的RDD，该RDD由每个输入元素经过func函数转换后组成 |
| filter(func) | 返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成 |
| flatMap(func) | 类似于map，但每个输入元素可被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素） |
| mapPartitions(func) | 类似于map,但独立地在RDD的每个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T]=>Iterator[U] |
| mapPartitionsWithIndex(func) | 类似于mapPartitions, 但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Interator[T]) => Iterator[U] |
| sample(withReplacement, fraction, seed) | 根据fraction指定的比例对数据进行采样，可以选择是否使用随机数进行替换，seed用于指定随机数生成器种子 |
| union(otherDataset) | 对源RDD和参数RDD求并集后返回一个新的RDD |
| intersection(otherDataset) | 对源RDD和参数RDD求交集后返回一个新的RDD |
| distinct([numTasks])) | 对源RDD进行去重后返回一个新的RDD |
| groupByKey([numTasks]) | 在一个(K,V)的RDD上调用，返回一个(K, Iterator[V])的RDD |
| reduceByKey(func, [numTasks]) | 在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，与groupByKey类似，reduce任务的个数可以通过第二个可选的参数来设置 |
| aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]) | 先按分区聚合 再总的聚合 每次要跟初始值交流 例如：aggregateByKey(0)(+,+) 对k/y的RDD进行操作 |
| sortByKey([ascending], [numTasks]) | 在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD |
| sortBy(func,[ascending], [numTasks]) | 与sortByKey类似，但是更灵活 第一个参数是根据什么排序 第二个是怎么排序 false倒序 第三个排序后分区数 默认与原RDD一样 |
| join(otherDataset, [numTasks]) | 在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD 相当于内连接（求交集） |
| cogroup(otherDataset, [numTasks]) | 在类型为(K,V)和(K,W)的RDD上调用，返回一个(K,(Iterable |
| cartesian(otherDataset) | 两个RDD的笛卡尔积 的成很多个K/V |
| pipe(command, [envVars]) | 调用外部程序 |
| coalesce(numPartitions) | 重新分区 第一个参数是要分多少区，第二个参数是否shuffle 默认false 少分区变多分区 true 多分区变少分区 false |
| repartition(numPartitions) | 重新分区 必须shuffle 参数是要分多少区 少变多 |
| repartitionAndSortWithinPartitions(partitioner) | 重新分区+排序 比先分区再排序效率高 对K/V的RDD进行操作 |
| foldByKey(zeroValue)(seqOp) | 该函数用于K/V做折叠，合并处理 ，与aggregate类似 第一个括号的参数应用于每个V值 第二括号函数是聚合例如：+ |
| combineByKey | 合并相同的key的值 rdd1.combineByKey(x => x, (a: Int, b: Int) => a + b, (m: Int, n: Int) => m + n) |
| partitionBy（partitioner） | 对RDD进行分区 partitioner是分区器 例如new HashPartition(2) |
| cache，persist | RDD缓存，可以避免重复计算从而减少时间，区别：cache内部调用了persist算子，cache默认就一个缓存级别MEMORY-ONLY ，而persist则可以选择缓存级别 |
| Subtract（rdd） | 返回前rdd元素不在后rdd的rdd |
| leftOuterJoin | leftOuterJoin类似于SQL中的左外关联left outer join，返回结果以前面的RDD为主，关联不上的记录为空。只能用于两个RDD之间的关联，如果要多个RDD关联，多关联几次即可。 |
| rightOuterJoin | rightOuterJoin类似于SQL中的有外关联right outer join，返回结果以参数中的RDD为主，关联不上的记录为空。只能用于两个RDD之间的关联，如果要多个RDD关联，多关联几次即可 |
| subtractByKey | substractByKey和基本转换操作中的subtract类似只不过这里是针对K的，返回在主RDD中出现，并且不在otherRDD中出现的元素 |
2 Actions
- 输入RDD，输出非RDD
- 立即执行
- 常用的Action
| Action | 含义 |
|---|---|
| reduce(func) | 通过func函数聚集RDD中的所有元素，这个功能必须是课交换且可并联的 |
| collect() | 在驱动程序中，以数组的形式返回数据集的所有元素 |
| count() | 返回RDD的元素个数 |
| first() | 返回RDD的第一个元素（类似于take(1)） |
| take(n) | 返回一个由数据集的前n个元素组成的数组 |
| takeSample(withReplacement,num, [seed]) | 返回一个数组，该数组由从数据集中随机采样的num个元素组成，可以选择是否用随机数替换不足的部分，seed用于指定随机数生成器种子 |
| saveAsTextFile(path) | 将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本 |
| saveAsSequenceFile(path) | 将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。 |
| countByKey() | 针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。 |
| foreach(func) | 在数据集的每一个元素上，运行函数func进行更新。 |
| aggregate | 先对分区进行操作，在总体操作 |
from pyspark.sql import SparkSession
master = 'local'
spark = SparkSession.builder. \
appName('test'). \
master(master). \
getOrCreate()
sc = spark.sparkContext
filename = 'file:///tmp/README.md'
logData = sc.textFile(filename)
wordsRDD = logData. \
flatMap(lambda x:x.split(" ")). \
map(lambda x:(x,1)). \
reduceByKey(lambda x,y:x+y)
out_filenmae = 'result'
wordsRDD.saveAsTextFile(out_filename)
words = wordsRDD.collect()
spark.stop()
作业
1.从身份证号中提取年龄
2.从身份证号中提取性别
3.从身份证号中提取星座
启动Pyspark
from pyspark.sql import SparkSession
form datetime import date
spark = SparkSession.builder.appName('CardAnalysis').getOrCreate()
sd = spark.sparkContext
###读取文件
logData = sc.textFile('F:/pyspark/data/cardnum.txt')
###读取身份证号
cardRDD = logData.map(lambda x:x.split(',')).map(lambda x:x[1])
###1 取身份证7-14位并计算年龄
birthdayRDD = cardRDD.map(lambda x:date(int(x[6:10]), int(x[10:12]), int(x[12:14])))
ageRDD = birthdayRDD.map(lambda x:int((date.today()-x).days/365))
age_list = ageRDD.collect()
print(age_list)
###2 取身份证第17位并计算性别
genderRDD = cardRDD.map(lambda x: 'Male' if int(x[17])%2 else 'Female')
gender_list = genderRDD.collect()
print(gender_list)
###3 取身份证11-14位并计算星座
定义计算星座函数
def getConstellation(month,day):
n = (u'摩羯座', u'水瓶座', u'双鱼座', u'白羊座', u'金牛座', u'双子座', u'巨蟹座',
u'狮子座', u'处女座', u'天秤座', u'天蝎座', u'射手座')
d = ((1,20), (2,19), (3,21), (4,21), (5,21), (6,22), (7,23),(8,23), (9,23),(10,23),(11,23),(12,23))
return n[len(list(filter(lambda y: y<=(month,day),d)))%12]
constellationRDD = cardRDD.map(lambda x:getConstellation(int(x[10:12]),int(x[12:14])))
constellation_list = constellationRDD.collect()
print(constellation_list)