Spark Streaming概述

Spark Streaming是什么

Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。

image

和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为 RDD 存在，而DStream是由这些RDD所组成的序列(因此得名“离散化”)。

Spark Streaming特点

1. 易用

   
   
   

   image.png

2. 容错

   
   
   

   image.png

3. 易整合到Spark体系

   
   
   

   image.png

SparkStreaming架构

image.png

关注微信公众号

： https://www.jianshu.com/u/0278602aea1d
CSDN： https://blog.csdn.net/u012387141