spark groupByKey操作

// groupByKey算子，返回的还是JavaPairRDD
        // 但是，JavaPairRDD的第一个泛型类型不变，第二个泛型类型变成Iterable这种集合类型
        // 也就是说，按照了key进行分组，那么每个key可能都会有多个value，此时多个value聚合成了Iterable

public static void myGroupByKey(){
        
        SparkConf conf=new SparkConf()
        .setMaster("local")
        .setAppName("myGroupByKey");
        JavaSparkContext sc=new JavaSparkContext(conf);
        List list=Arrays.asList(new Tuple2("c1","cai"),new Tuple2("c2","niao"),
                new Tuple2("c1","huo"),new Tuple2("c2","niao"));
        JavaPairRDD listRdd= sc.parallelizePairs(list);
        JavaPairRDD> groupRdd=listRdd.groupByKey();
        groupRdd.foreach(new VoidFunction>>(){

            @Override
            public void call(Tuple2> tuple)
                    throws Exception {
                // TODO Auto-generated method stub
                
                System.out.println("key:"+tuple._1);
                Iterator it=tuple._2.iterator();
                while(it.hasNext())
                    System.out.println("-----values:"+it.next());
            }
            
        });
    }

结果：

key:c2
-----values:niao
-----values:niao
key:c1
-----values:cai
-----values:huo