spark 学习记录 二次Key排序的使用方法

目的是为了当key相同的时候,对value进行自定义排序

//二次排序,具体实现步骤

//第一步:按照Ordered和Serrializable接口实现自定义排序的Key

按照需要排序的字段重写ordered的方法

//第二步:将要进行二次排序的文件加载进来生成《key,value》类型的RDD

将pairRDD转换成二次排序的bean,将原来的反转一次Maptopair("二次排序的bean",key)

//第三步:使用sortByKey基于自定义的Key进行二次排序

//第四步:去除掉排序的key,,只保留排序结果

你可能感兴趣的:(spark)