pyspark学习之自定义分区

数据格式：
http://bigdata.xiaoniu.com/laoWang

bigdata：代表科目
laoWang：代表教师，一个老师可以教授不同的科目

目的：
按照不同的科目，按照访问量教师进行排序。

from pyspark import SparkContext,SparkConf
conf=SparkConf()
sc=SparkContext(conf=conf)
def MyPartition(x):
    sub=x[0]
    if sub=='java':
        return 0
    elif sub=='php':
        return 1
    elif sub=='bigdata':
        return 2
    else:
        return 3
def PartSort(x):
    xlist=list(x)
    a = sorted(xlist, key=lambda x: x[1], reverse=True)
    print(a)
    return iter(a)
def Fav_teacher():
    data=sc.textFile('sub')
    #切割每一条数据，得到的格式是(('java', 'laozhang'), 3)
    rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)
 
    #自定义分区数量和方法
    my=rdd1.partitionBy(4,MyPartition)
    #对每个分区中的内容进行排序
    myPar=my.mapPartitions(PartSort)
    # print(my.collect())
    print(myPar.collect())
if __name__ == '__main__':
    Fav_teacher()

这样写会经历两次的shuffle，一个是reduceByKey和partitonBy;进一步修改代码，减少shuffle（在reduceBykey中加入分区的数量和方法，这样就不需要在从新分区了）：

rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y,4,MyPartition)
    myPar=rdd1.mapPartitions(PartSort)
    # print(my.collect())
    print(myPar.collect())

如果有问题，请及时指正，不胜感激。