spark take获取前n个元素

     take和 collect操作类似,都是从远程集群上获取元素,只是collect操作获取的所有数据,而take操作是获取前n个元素

直接上代码:

public static void myTake(){
        SparkConf conf=new SparkConf()
        .setMaster("local")
        .setAppName("myTake");
        
        JavaSparkContext sc=new JavaSparkContext(conf);
        List numberList = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
         JavaRDD numRdd=sc.parallelize(numberList, 2);
         List list=numRdd.take(4);
         for(Integer i:list){
             System.out.println("i:"+i);
         }
         sc.close();
        
    }

结果:

i:1
i:2
i:3
i:4



你可能感兴趣的:(spark)