三十五、《大数据项目实战之用户行为分析》Spark Streaming按批次累加单词数量

本例使用Spark Streaming实现一个完整的按批次累加的实时单词计数程序。数据源从Netcat服务器中获取(关于Netcat的安装,此处不做讲解),实现步骤如下:

编写应用程序

1. 导入依赖库

在Spark项目“SparkDemo”的pom.xml中导入以下依赖库:





   org.apache.spark

   spark-core_2.12

   3.2.1







   org.apache.spark

   spark-streaming_2.12

   3.2.1

2. 编写程序

在项目中新建程序类StreamingWordCount.scala,该类的完整代码如下:

你可能感兴趣的:(#,spark,大数据,scala,SparkStreaming)