在IDEA中使用Java Lambda编写WordCount程序

创建项目详细过程请参考博客：
在IDEA中用Scala编写WordCount程序并且上传到集群中运行
https://blog.csdn.net/weixin_43866709/article/details/88599701

下面是代码：

package cn.edu360.spark;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.util.Arrays;

public class javaLambdaWordCount {
    public static void main(String[] args){
        SparkConf conf = new SparkConf().setAppName("javaLambdaWordCount");
        //创建sparkContext
        JavaSparkContext jsc = new JavaSparkContext(conf);
        //指定以后从哪里读取数据
        JavaRDD lines = jsc.textFile(args[0]);
        //切分压平
        JavaRDD words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator());
        //将单词和1组合
        JavaPairRDD wordAndOne = words.mapToPair(w -> new Tuple2<>(w, 1));
        //聚合
        JavaPairRDD reduced = wordAndOne.reduceByKey((m, n) -> m + n);
        //调整顺序
        JavaPairRDD swaped = reduced.mapToPair(tp -> tp.swap());
        //排序
        JavaPairRDD sorted = swaped.sortByKey(false);
        //调整顺序
        JavaPairRDD result = sorted.mapToPair(tp -> tp.swap());
        //将结果保存到hdfs
        result.saveAsTextFile(args[1]);
        //释放资源
        jsc.stop();

    }
}

然后打成jar包，上传到spark集群运行。
运行命令是：

spark-submit //向spark集群提交任务命令
–master spark://L1:7077 //–master指定spark集群上的master主机和端口
–class com.baidu.spark.javaLambdaWordCount //指定程序的类名（程序执行的入口）
/home/hadoop/original-SparkTest1-1.0-SNAPSHOT-javaLambda.jar//指定jar包的位置
hdfs://L1:9000/aaa //指定HDFS上namenode 的主机名和端口，以及文件位置
hdfs://L1:9000/aaajavaLambdaOut //指定程序运行结果存放位置