【四】Spark Streaming：从自带词频统计例子入门

开源社区

使用的自带词频统计例子的地址NetworkWordCount.scala

spark-submit执行

打开9999端口

nc -lk 9999

控制台进入bin目录

cd /app/spark/spark-2.2.0-bin-2.9.0/bin

./spark-submit --master local[2] --class org.apache.spark.examples.streaming.NetworkWordCount --name NetworkWordCount  /app/spark/spark-2.2.0-bin-2.9.0/examples/jars/spark-examples_2.11-2.2.0.jar node1 9999

参数介绍

--master指定是本地运行还是集群yarn、mesos

--class 运行的主类

--name 应用名称在UI中会显示

最后是指定的jar包，因为我们直接用的spark自带的词频统计例子，需要指定该例子的jar包

node1 9999：因为这个例子用的是网络数据，需要指定数据的接收端口

在nc -lk 9999中输入a a a a b b

查看spark

 

spark-shell执行(测试时可用这种方法)

cd /app/spark/spark-2.2.0-bin-2.9.0/bin

./spark-shell --master local[2] 

输入

import org.apache.spark.streaming.{Seconds, StreamingContext}
val ssc = new StreamingContext(sc, Seconds(1))
val lines = ssc.socketTextStream("node1", 9999)
val words = lines.flatMap(_.split(" "))
val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
wordCounts.print()
ssc.start()
ssc.awaitTermination()