PySpark-RDD Basics

导包

import numpy as np
import pandas as ps
from pyspark import SparkContext,SparkConf
%config ZMQInteractiveShell.ast_node_interactivity='all'

初始化sparkcontent

#方法一：
sc = SparkContext(master='local[2]')#只能初始化一次
#方法二：通过设置的方式先设置sparkconf，然后在初始化sparkcontent
conf = (SparkConf()
        .setMaster('local')
        .setAppName('My app')
        .set('spark.executor.memory','1g'))
sc = SparkContext(conf=conf)

spark参数信息

sc.version
sc.pythonVer
sc.master
str(sc.sparkHome)
str(sc.sparkUser())
sc.appName
sc.applicationId
sc.defaultParallelism
sc.defaultMinPartitions
sc.stop()

Rdd初始化

#rdd 初始化
rdd = sc.parallelize([('a',7),('a',2),('b',2)])
rdd2 = sc.parallelize([('a',2),('d',1),('b',1)])
rdd3 = sc.parallelize(range(100))
rdd4 = sc.parallelize([ ('a',['x','y','z']),('b',['p','r' ]) ])

textFile = sc.textFile('/my/directory/*.txt') #遍历文件每一行 返回一个array
textFile2 = sc.wholeTextFiles('/my/directory') #把这个目录下的所有文件遍历 返回的是 (文件路径,内容)的一个元组

Rdd函数

#检索rdd信息
rdd.getNumPartitions() #1
rdd.count() #3
rdd.countByKey() #defaultdict(int, {'a': 2, 'b': 1})
rdd.collectAsMap() #{'a': 2, 'b': 2}
rdd3.sum() #4950
sc.parallelize([]).isEmpty()#判断这个rdd是否为空

#检索rdd信息（count）
rdd3.max() #99
rdd3.min() #0
rdd3.mean() #平均值49.5
rdd3.stdev() #标准值28.86607
rdd3.variance() #方差
rdd3.histogram(3) #柱状图
rdd3.stats() #(count: 100, mean: 49.5, stdev: 28.86607004772212, max: 99.0, min: 0.0)

#applying function
rdd.map(lambda x : x+(x[1],x[0])).collect()
rdd5 =rdd.flatMap(lambda x:x+(x[1],x[0]))
rdd5.collect()
rdd4.flatMapValues(lambda x : x).collect() #打平k 与每一个value

#查询数据
#Getting
rdd.collect()
rdd.take(2)
rdd.first()
rdd.top(2)

#Sampleing
rdd3.sample(False,0.15,81).collect() #[3, 4, 27, 28, 35, 41, 43, 49, 53, 58, 85, 93]

#Filtering
rdd.filter(lambda x : "a" in x).collect() #[('a', 7), ('a', 2)]
rdd5.distinct().collect() #['a', 7, 2, 'b']
rdd.keys().collect()

#Iterating
def g(x):print(x)
rdd.foreach(g)

#reshaping data
#reducint
rdd.reduceByKey(lambda x,y:x+y).collect()
rdd.reduce(lambda a,b:a+b)

#grouping by
rdd3.groupBy(lambda x : x%2).mapValues(list).collect()
rdd.groupByKey().mapValues(list).collect()

#aggregating
nums = sc.parallelize([1,2,3,4,5])
seqOp=(lambda x,y:(x[0]+y,x[1]+1)) #计算每个分区的总和与总个数
combOp = (lambda x,y:(x[0]+y[0],x[1]+y[1])) #计算所有分区的数
nums.aggregate((0,0),seqOp,combOp) #总数等于15  一共5个数 x[0]表示元组的第一个数也就是总和 x[1]表示总个数

rdd.aggregateByKey((0,0),seqOp,combOp).collect() #[('a', (9, 2)), ('b', (2, 1))] 统计所有的values遍历所有rdd的key

def add(x,y): return x+y
rdd3.fold(0,add) #聚合rdd的每个分区 第一个参数为初始值，op为方法

rdd3.keyBy(lambda x:x+x).collect() #通过f方法为rdd所有元素创建元组，返回值作为key

#Mathematical Operations
rdd.subtract(rdd2).collect() #rdd-rdd2相同的元组[('a', 7), ('b', 2)]
rdd2.subtractByKey(rdd).collect() #rdd2-rdd相同的key [('d', 1)]
rdd.cartesian(rdd2).collect() #rdd1对rdd2笛卡尔积

#sort
rdd2.sortByKey(lambda x:x[1]).collect()
rdd2.sortByKey().collect()  #按key去排序

#Repartitioning
rdd.repartition(4)#reparation是coalesce(numPartitions, shuffle = true)，repartition不仅会调整Partition数，也会将Partitioner修改为hashPartitioner，产生shuffle操作。
rdd.coalesce(1)#coalesce函数可以控制是否shuffle，但当shuffle为false时，只能减小Partition数，无法增大

#Saving
rdd.saveAsTextFile('rdd.txt')
rdd.saveAsHadoopFile('hdfs://namenodehost/parent/child','org.apache.hadoop.mapred.TextOutputFormat')

stopping SparkContext

sc.stop()