“流计算”是相对于“批计算”来的,MapReduce,Spark底层的计算方式是目前主流的“批计算”实现方式,很多公司在使用这种方式做大数据处理。但是越来越多的公司目前开始关注“流计算”,主要有以下一些原因:
1 对处理时间的要求。随着技术的进步,用户对“延迟”的忍受能力越来越弱,能更及时发现问题、解决问题,能提升用户体验。
2 在大数据分析领域,数据分析得越及时,价值越高。在推荐、风控等很多场景中,对实时性的要求相当苛刻
3 “流计算”天然支持对事件发生的先后顺序、时间关系这方面的分析,这是“mini batch”方式的批处理系统支持不好的
目前批处理的流行是因为以前的流处理技术不够好,或者说“批处理”是因为技术原因对现实需求所做的妥协。现实中日志、交易、物流等常见的大数据场景,数据都是以“流”的方式产生,适合以“流计算”的方式及时处理。但以前的Storm等流处理系统,在吞吐量、容错性、准确性方面无法满足要求,所以大家才使用成熟度更高的“批处理”系统。人为地发数据切分成一批一批的,每天处理一次或者每小时处理一次等。
如果“流处理”系统达到批处理系统类似的吞吐量和容错性,“流处理”在实时性和“时间序列”处理方面的优势就非常明显了。
有3类时间,分别是数据本身的产生时间、进入Flink系统的时间和被处理的时间,在Flink系统中的数据可以有三种时间属性:
Event Time
Ingestion Time
Processing Time
Event Time 是每条数据在其生产设备上发生的时间。这段时间通常嵌入在记录数据中,然后进入Flink,可以从记录中提取事件的时间戳;Event Time即使在数据发生乱序,延迟或者从备份或持久性日志中重新获取数据的情况下,也能提供正确的结果。这个时间是最有价值的,和挂在任何电脑/操作系统的时钟时间无关。
Processing Time 是指执行相应操作的机器的系统时间。如果流计算系统基于Processing Time来处理,对流处理系统来说是最简单的,所有基于时间的操作(如Time Window)将使用运行相应算子的机器的系统时钟。然而,在分布式和异步环境中,Processing Time并不能保证确定性,它容易受到Event到达系统的速度(例如来自消息队列)以及数据在Flink系统内部处理的先后顺序的影响,所以Processing Time不能准确地反应数据发生的时间序列情况。
Ingestion Time是事件进入Flink的时间。 在Source算子处产生,也就是在Source处获取到这个数据的时间,Ingestion Time在概念上位于Event Time和Processing Time之间。在Source处获取数据的时间,不受Flink分布式系统内部处理Event的先后顺序和数据传输的影响,相对稳定一些,但是Ingestion Time和Processing Time一样,不能准确地反应数据发生的时间序列情况。
上面提到Event Time是最能反映数据时间属性的,但是Event Time可能会发生延迟或乱序,Flink系统本身只能逐个处理数据,如何应对Event Time可能会发生延迟或乱序情况呢?
比如需要统计从10:00到11:00发生某个事件的次数,也就是对Event Time是在10:00和11:00之间的数据统计个数。Event Time可能会发生延迟或乱序的情况下,Flink系统怎么判断10:00到11:00发生的事件数据都已到达,可以给出统计结果了呢?长时间地等待会推迟结果输出时间,而且占用更多系统资源。
Watermark是一个对Event Time的标识,内容方面Watermark是个时间戳,一个带有时间戳X的Watermark到达,相当于告诉Flink系统,任何Event Time小于X的数据都已到达。比如上面的例子,如果Flink收到一个时间戳是11:01的Watermark,它就可以把之前统计的Event Time在10:00和11:00之间的事件个数输出,清空相关被占用的资源。
Periodic - 一定时间间隔或者达到一定的记录条数会产生一个watermark。
Punctuated – 基于event time通过一定的逻辑产生watermark,比如收到一个数据就产生一个WaterMark,时间是event time + 5秒。
这两种产生方式,都有机制来保证产生的watermark是单调递增的。
即使有了watermark,如果现实中,数据没有满足watermark所保证的条件怎么办?比如Flink处理了11:01的watermark,但是之后遇到了event time是10:00~11:00之间的数据怎么办?首先如果这种事情出现的概率非常小,不影响所要求的准确度,可以直接把数据丢弃;如果这种事情出现的概率比较大,就要调整产生water mark的机制了。
除了把违反watermark机制的数据丢弃,也有不丢弃的处理方法,比如通过一些机制来更新之前统计的结果,这种方式会有一定的性能开销。
本文首先介绍了流计算系统的优势,流计算系统在功能上是“批处理”系统的超集,除了可以做批计算,也可以提供实时性更高,时间序列处理更完善的功能。然后介绍了在流计算系统中的时间类型和watermark机制,流处理系统中数据的时间属性非常重要,流处理系统通过water mark机制来解决现实中的数据延迟,数据乱序问题。
欢迎阅读,有问题可以通过邮件kaiyuan0989爱特163.com一起探讨。