Spark Streaming入门

概述

Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等，流式计算可以解决这些问题，spark Streaming就是现在常用的流式计算框架。作为spark的五大核心组件之一，spark Streaming原生地支持多种数据源的接入，而且可以与Spark MLLib、Graphx结合起来使用，具有高吞吐量，容错机制，数据可以从Kafka、flume、Twitter、zeroMQ、K inesis或者TCP的端口，同时能够被类似于使用map、reduce、join和window这种高级函数的算法所处理，最终，被处理过的数据能够被推送到磁盘、数据库。简而言之，Spark Streaming的作用就是实时的将不同的数据源的数据经过处理之后将结果输出到外部文件系统。

image.png

工作原理

粗粒度

Spark Streaming接收到实时数据流，把数据按照指定的时间段切成一片片小的数据块，
然后把小的数据块传给Spark Engine处理。

细粒度

接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1秒的数据封装为一个batch，然后将每个batch交给Spark的计算引擎进行处理，最后会生产出一个结果数据流，其中的数据，也是由一个一个的batch所组成的。

Spark Streaming基本工作原理

• Spark Streaming提供了一种高级的抽象，叫做DStream，英文全称为Discretized Stream，中文翻译为“离散流”，它代表了一个持续不断的数据流。DStream可以通过输入数据源来创建，比如Kafka、Flume、ZMQ和Kinesis；也可以通过对其他DStream应用高阶函数来创建，比如map、reduce、join、window。

• DStream的内部，其实一系列持续不断产生的RDD。RDD是Spark Core的核心抽象，即，不可变的，分布式的数据集。DStream中的每个RDD都包含了一个时间段内的数据。

  
  
  

  Spark Streaming基本工作原理
• 对DStream应用的算子，比如map，其实在底层会被翻译为对DStream中每个RDD的操作。比如对一个DStream执行一个map操作，会产生一个新的DStream。但是，在底层，其实其原理为，对输入DStream中每个时间段的RDD，都应用一遍map操作，然后生成的新的RDD，即作为新的DStream中的那个时间段的一个RDD。底层的RDD的transformation操作。

• 还是由Spark Core的计算引擎来实现的。Spark Streaming对Spark Core进行了一层封装，隐藏了细节，然后对开发人员提供了方便易用的高层次的API。

  
  
  

  Spark Streaming基本工作原理介绍

实战

wordcount案例(实时统计)

需求：动态输入字符，通过Spark Streaming实时计算输入字符出现的次数。

代码说明

spark安装的examples文件中提供了spark streaming的类似案例。在github上可以查看相应的代码，我们使用的是JavaNetworkWordCount这一案例，在代码中指名了使用方式。

image.png

我们通过以下两种方式在spark上提交作业。

• spark-submit提交

./spark-submit --master local[2] --class org.apache.spark.examples.streaming.JavaNetworkWordCount --name NetworkWordCount ../examples/jars/spark-examples_2.11-2.1.0.jar localhost 9999

• 测试

nc -lk 9999
若提示nc： command not found 表示没安装nc的包，使用以下命令安装
yum install nc -y
yum install nmap -y

image.png

image.png

如图所示可以实时统计出字符出现的次数。

• spark-shell提交
  启动spark-shell

./spark-shell  --master local[2] 

启动后执行以下代码

import org.apache.spark.streaming.{Seconds,StreamingContext};
val ssc = new StreamingContext(sc, Seconds(1));
val lines = ssc.socketTextStream("192.168.30.130", 9999);
val words = lines.flatMap(_.split(" "));
val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _);
wordCounts.print();
ssc.start();
ssc.awaitTermination();

测试：

image.png

image.png

如图所示可以实时统计出字符出现的次数。

两者的区别：
spark-submit在生产环境使用，spark-shell用于开发时代码的测试。