spark中textFile、groupByKey、collect、flatMap、map结合小案例（案例虽小，功能齐全）

1.通过textFile读取文件

sc.textFile("E:\\spark-2.1.0\\spark-2.1.0\\README.md")

2.通过flatMap、split分隔单词

flatMap(_.split(" "))

3.通过map使一元元素变成二元元素

map((_,1))

4.通过groupBykey分类

val group = sc.textFile("E:\\spark-2.1.0\\spark-2.1.0\\README.md")
      .flatMap(_.split(" ")).map((_,1)).groupByKey()

    val groupcl = group.collect()

    println(groupcl)  // [Lscala.Tuple2;@78d2b5cf

    groupcl.foreach(println)

结果为：

5.注意

输出groupcl结果为：[Lscala.Tuple2;@78d2b5cf，要想输出想要的根据groupByKey的结果需要使用groupcl.foreach(println)输出。