spark数据集操作

 

首先将一行映射为整数值，从而创建一个新的数据集。reduce在该数据集上调用以查找最大字数。

scala> textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
res4: Long = 15

我们可以轻松调用其他地方声明的函数。我们将使用Math.max()函数使这段代码更容易理解：

scala> import java.lang.Math
import java.lang.Math

scala> textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))
res5: Int = 15

一种常见的数据流模式是MapReduce。Spark可以轻松实现MapReduce流程：

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).groupByKey(identity).count()
wordCounts: org.apache.spark.sql.Dataset[(String, Long)] = [value: string, count(1): bigint]

在这里，调用flatMap将行数据集转换为单词数据集，然后组合groupByKey并count计算文件中的单词计数作为（字符串，长整数）对的数据集。要在我们的shell中收集单词count，我们可以调用collect：

scala> wordCounts.collect()
res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)