pyspark RDD 自定义排序（python）

问题：

现有数据 data = ((‘crystal’,90,22),(‘crystal1’,100,28),(‘crystal3’,100,22))
现在对data 进行排序
排序规则：
1 按元组中的第二个字段排序
2 第二个字段相等的话，按第三个字段排序

实现思路：

定义一个列表元素类，每一个元素都可以实例化成这个类的对象
定义类的比较规则，比较规则即为需求规则，
然后将RDD远程实例化成类，进行排序即可

实现代码：

from operator import gt

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName('myFirstApp').setMaster('local')
sc = SparkContext(conf = conf)

class MySort():
    def __init__(self,list):
        self.rdd = sc.parallelize(list)
    @staticmethod
    def _toGirl(x):
        return Girl(x[0],x[1],x[2])
    def sort(self,ascending=True):
        return self.rdd.sortBy(self._toGirl,ascending) ##按Girl的比较规则进行排序


class Girl():
    def __init__(self,name,faceValue,age):
        self.name = name
        self.faceValue =faceValue
        self.age = age
    def __gt__(self,other):#实现__gt__方法，定义比较规则，python2 中用__cmp__方法
        if other.faceValue == self.faceValue:
            return  gt(self.age,other.age)
        else:
            return  gt(self.faceValue, other.faceValue)
    def __repr__(self):
        return self.name


l = [('crystal',90,22),('crystal1',100,28),('crystal3',100,22)]

s = MySort(l)
print(s.sort(ascending=False).collect())

• 打印结果：
  [(‘crystal1’, 100, 28), (‘crystal3’, 100, 22), (‘crystal’, 90, 22)]