Action的常用算子count(),task(),countByKey(),collect()....

action的常用算子

        1.reduce();
        
        // 首先将第一个和第二个元素,传入call()方法,进行计算,会获取一个结果,比如1 + 2 = 3
        // 接着将该结果与下一个元素传入call()方法,进行计算,比如3 + 3 = 6
        //这个是它实现的Function2()接口里的参数逻辑流程,第三个事返回类型
        2.collect();

          //而使用collect操作,将分布在远程集群上的doubleNumbers RDD的数据拉取到本地,性能比较差,要走网络传输!
        3.count();

           //统计集合的数量


        4.take();
                   // 对rdd使用count操作,统计它有多少个元素
                  // take操作,与collect类似,也是从远程集群上,获取rdd的数据
                   // 但是collect是获取rdd的所有数据,take只是获取前n个数据
        5.countByKey();

             //计算每个班级的人数:找不到更加好的解释了!

你可能感兴趣的:(Spark)