Flink和spark的对比

Spark Streaming vs Flink

两者最重要的区别(流和微批)

(1). Micro Batching 模式(spark)

Micro-Batching计算模式认为"流是批的特例",流计算就是将连续不断的微批进行持续计算,如果批足够小那么就有足够小的延时,在一定程度上满足了99%的实时计算场景。那么那1%为啥做不到呢? 这就是架构的魅力,在Micro-Batching模式的架构实现上就有一个自然流数据流入系统进行攒批的过程,这在一定程度上就增加了延时。具体如下示意图:
Flink和spark的对比_第1张图片
从上面可以看到是把输入的数据, 分成微小的批次, 然后一个批次一个批次的处理, 然后也是一片批次的输出. 很显然Micro-Batching模式有其天生的低延时瓶颈,但任何事物的存在都有两面性,在大数据计算的发展历史上,最初Hadoop上的MapReduce就是优秀的批模式计算框架,Micro-Batching在设计和实现上可以借鉴很多成熟实践。

(2). Native Streaming 模式(flink)

Native Streaming计算模式认为“

你可能感兴趣的:(Flink入门及实战,flink,spark)