spark（二）：键值对RDD

一 、动机

在spark之中键值对的RDD称为pairRDD,spark提供join方法来两个RDD之中键相同的元素组合到一起，合并成一个RDD，reduceByKey操作规约每个键对应的值

二、创建pairRDD

普通RDD可以使用map操作来转化为pairRDD，java可以使用Tuple2这个类创建RDD之中的二元组

三、PaireRDD的转化操作

（1）reduceBykey(func) 合并具有相同键的值，传入的函数规定如何合并

（2）groupByKey() 对具有相同键的值进行分组

（3）mapValues（func） 不改变key的值对value进行func操作

（4）flatMapValues(func) 对应value传入func之中构造成新的值

（5）keys（）返回一个仅包含键的RDD

（6）values()返回一个仅包含值得RDD

（7）sortByKey()返回一个根据键排序的RDD

（8）subtractByKey()删除RDD中键与其他RDD相同的元素

（9）join（）两个RDD进行内连接

（10）rightOutJoin对两个RDD进行右外连接，确保第一个RDD的key存在

（11）leftOutJoin对两个RDD进行左外连接，确保第二个RDD的key必须存在

（12）cogroup两个RDD之中相同键的数据分组

聚合操作

(12)foldByKey与flod相似，都接收一个函数，使用该函数进行合并

(13)combinByKey()可以让用户返回与输入数据类型不同的返回值，其会遍历分区之中所有的元素，注意当遍历过程之中碰到第一个元素的时候，这个函数会使用createCombin函数创建建对应的累加器的初始值，这个再每个分区都会执行一次

如果不是第一次碰到这个值那么会使用mergeValue方法将该键的累加器的当前值与新值合并，同时需要用户提供mergeCombines方法将各个分区的结果进行合并

四、PaireRDD的行动操作

（1）countByKey()对每个键对应的元素分别计数

（2）collectAsMap将结果以映射表的方式返回

（3）lookup返回给定键对应的所有值

五、数据分区

partitionBy是一个转化操作，会返回一个新的RDD，传入的值标识分区的个数，这个值应该和集群的核心数一样多，分区可以减少一些操作的shuffle

HashPartitioner提供hash值的分区方式，RangePartitioner提供范围值的分区方式

自定义的分区方式需要实现Partitioner类，其有三个方法分别为numPartitions返回创建的分区数，getPartition返回创建的分区编号，equals()。