hadoop2.9.1+spark2.3字数统计java实例集群运行（idea）

一 搭环境Hadoop2.9.2+spark2.3
参考https://blog.csdn.net/qazwsxpcm/article/details/78937820
二 实例运行
1 打开idea,file-new-project,新建maven工程。

image.png

2 pom.xml如下图，我没有在maven里面导库，因为老是有报错，所以直接下载了一个spark2.3,把里面的jar全部倒进去。需要spark2.3的（链接：https://pan.baidu.com/s/1bnX6UN88GPihWjqwuPKN6A 密码：7lyq）

image.png

3 导入jar包,file-project structure点击Module,点+

image.png

image.png

4 字数统计代码
在src/main/java里面新建Java class，代码如下

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

import java.util.Arrays;

import java.util.Iterator;
import java.util.List;
import java.util.regex.Pattern;


public class Main {
    private static final Pattern SPACE = Pattern.compile(" ");

    public static void main(String[] args) throws Exception {

        /**
         * 对于所有的spark程序所言，要进行所有的操作，首先要创建一个spark上下文。
         * 在创建上下文的过程中，程序会向集群申请资源及构建相应的运行环境。
         * 设置spark应用程序名称
         * 创建的 sparkContext 唯一需要的参数就是 sparkConf，它是一组 K-V 属性对。
         */
        SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount");
        JavaSparkContext ctx = new JavaSparkContext(sparkConf);
        sparkConf.set("spark.testing.memory", "2147480000");
        /**
         * 利用textFile接口从文件系统中读入指定的文件，返回一个RDD实例对象。
         * RDD的初始创建都是由SparkContext来负责的，将内存中的集合或者外部文件系统作为输入源。
         * RDD：弹性分布式数据集，即一个 RDD 代表一个被分区的只读数据集。一个 RDD 的生成只有两种途径，
         * 一是来自于内存集合和外部存储系统，另一种是通过转换操作来自于其他 RDD，比如 Map、Filter、Join，等等。
         * textFile()方法可将本地文件或HDFS文件转换成RDD，读取本地文件需要各节点上都存在，或者通过网络共享该文件
         *读取一行
         */
        //JavaRDD lines = ctx.textFile("C:\\Users\\sasa\\IdeaProjects\\sa\\src\\sa.txt", 1);
        JavaRDD lines = ctx.textFile("hdfs://iothd2:9000/spark/hello.txt",1);
        /**
         *
         * new FlatMapFunction两个string分别代表输入和输出类型
         * Override的call方法需要自己实现一个转换的方法，并返回一个Iterable的结构
         *
         * flatmap属于一类非常常用的spark函数，简单的说作用就是将一条rdd数据使用你定义的函数给分解成多条rdd数据
         * 例如，当前状态下，lines这个rdd类型的变量中，每一条数据都是一行String，我们现在想把他拆分成1个个的词的话，
         * 可以这样写 ：
         */
        //flatMap与map的区别是，对每个输入，flatMap会生成一个或多个的输出，而map只是生成单一的输出
        //用空格分割各个单词,输入一行,输出多个对象,所以用flatMap
        JavaRDD words = lines.flatMap(new FlatMapFunction() {
            @Override
            public Iterator call(String s) {
                return Arrays.asList(SPACE.split(s)).iterator();
            }
        });
        /**
         * map 键值对 ，类似于MR的map方法
         * pairFunction: T:输入类型；K,V：输出键值对
         * 表示输入类型为T,生成的key-value对中的key类型为k,value类型为v,对本例,T=String, K=String, V=Integer(计数)
         * 需要重写call方法实现转换
         */
        JavaPairRDD ones = words.mapToPair(new PairFunction() {
            //scala.Tuple2 call(T t)
            //Tuple2为scala中的一个对象,call方法的输入参数为T,即输入一个单词s,新的Tuple2对象的key为这个单词,计数为1
            @Override
            public Tuple2 call(String s) {
                return new Tuple2(s, 1);
            }
        });
        //A two-argument function that takes arguments
        // of type T1 and T2 and returns an R.
        /**
         * 调用reduceByKey方法,按key值进行reduce
         *  reduceByKey方法，类似于MR的reduce
         *  要求被操作的数据（即下面实例中的ones）是KV键值对形式，该方法会按照key相同的进行聚合，在两两运算
         *  若ones有<"one", 1>, <"one", 1>,会根据"one"将相同的pair单词个数进行统计,输入为Integer,输出也为Integer
         *输出<"one", 2>
         */
        JavaPairRDD counts = ones.reduceByKey(new Function2() {
            //reduce阶段，key相同的value怎么处理的问题
            @Override
            public Integer call(Integer i1, Integer i2) {
                return i1 + i2;
            }
        });
        //备注：spark也有reduce方法，输入数据是RDD类型就可以，不需要键值对，
        // reduce方法会对输入进来的所有数据进行两两运算

        /**
         * collect方法用于将spark的RDD类型转化为我们熟知的java常见类型
         */
        List> output = counts.collect();
        for (Tuple2 tuple : output) {
            System.out.println(tuple._1() + ": " + tuple._2());
        }
        ctx.stop();
    }
}

5 编译运行成功，下一步生成jar包
点击File->Project Structure…->Artifacts，点击+号 ，由于集群中已包含spark相关jar包，将那些依赖jar包删除，点击apply，ok。然后点击菜单栏中的Build->Build Artifacts…->Build，将会在out目录中生成相应的jar包

image.png

6 jar包上传到集群并执行

7 在bin目录下执行命令
spark-1.6.1/bin/spark-submit --class SparkWordCount1 sparkStudy.jar --master=spark://102.17.2.203:7077