Spark的简单使用之WordCount统计

一、准备要进行统计的文件
Spark的简单使用之WordCount统计_第1张图片
可以看到我这里测试的文件名称叫wc.txt
里面的内容也比较少,就六个单词用逗号分隔。

二、计算代码

scala> val file = spark.sparkContext.textFile("file:///root/Desktop/wc.txt") #文件路径

scala> val WordCounts = file.flatMap(line => line.split(",")).map((word => (word, 1))).reduceByKey(_ + _)

scala> WordCounts.collect

//将计算结果保存到HDFS
scala> WordCounts.saveAsTextFile("/user/result")
//将计算结果保存到本地
scala> WordCounts.saveAsTextFile("file:///root/Desktop/result")
//ps:再次保存不能覆盖,会报错。

可以看到这里计算代码非常的简单,就三行。

三、运行结果
Spark的简单使用之WordCount统计_第2张图片

可以看出计算结果为:
(hello,3)
(welcome,1)
(world,2)

scala的退出为
scala> :quit

你可能感兴趣的:(Linux)