Apache Flink基本编程模型

前一篇文章中<一文了解Flink数据-有界数据与无界数据>大致讲解了Apache Flink数据的形态问题。Apache Flink实现分布式集合数据集转换、抽取、分组、统计等。根据数据源的类型，即为有界数据与无界数据，提供了DataSet与DataStream的基础API。

image

根据数据源的类型，即为有界数据与无界数据。Apache Flink提供可以编写流处理与批处理的程序。其中DataSet API用于批处理，DataStream API用于流式处理。对于DataSet来说可以认为其中存储的是可重复有界的数据集合。而DataStream中存储的可以认为是重复的无界的数据集合。

image

Flink提供了不同级别的抽象来实现批处理或流处理任务的开发。

image

Flink的基本构建就是数据流与转换，(Flink 中DataSet API中使用的也是内部流)。从整体概念上来讲，流是持续的不会产生中断的数据记录流。而转换则是讲一个或多个流的进行转换、计算、聚合等产生一个或多个流。

image

程序在执行时会映射出一个或者多个数据流，每个数据流都以一个或者多个源为开头，例如Kakfa、File等或者是通过与计算得来。数据流之间类似于一个有向无环图DAG。

通过两个例子来看DataSet和DataStream。

• 批处理

val env = ExecutionEnvironment.getExecutionEnvironment
    // 创建DataSource
    val text = env.fromElements(
      "Best Data Processing Engine")
    //flatMap : 把字符串转换为小写,并且按照空白分割为一个个的单词.
    //filter: 过滤非空结果
    //map: 把切割的单词转换为 单词,1
    //groupBy:按照下标位0进行分组
    //sum: 计算 下标位1的结果
    val counts = text.flatMap { _.toLowerCase.split("\\W+")
      .filter { _.nonEmpty } }
      .map { (_, 1) }
      .groupBy(0)
      .sum(1)
    //打印结果到控制台
    counts.print()

• 流式处理

val env = StreamExecutionEnvironment.getExecutionEnvironment
    val text = env.socketTextStream("localhost",9999)
    //flatMap : 把字符串转换为小写,并且按照空白分割为一个个的单词.
    //filter: 过滤非空结果
    //map: 把切割的单词转换为 单词,1
    //timeWindow: 按照时间,每5s获取进行一次计算
    //sum: 计算 下标位1的结果
    val counts = text.flatMap { _.toLowerCase.split("\\W+")
      .filter { _.nonEmpty } }
      .map { (_, 1) }
      .keyBy(0)
      .timeWindow(Time.seconds(5))
      .sum(1)

    //打印结果到控制台
    counts.print()

从上面看,流式处理与批处理的代码实现基本上是一样的,流式处理的数据在通过 nc -lk 9999开启一个socket。 Flink连接socket之后就可以进行执行。数据相对与批处理来说是无界的持续数据集。而代码上增加了一个Window。

Window

窗口是批处理上不存在的一个过程。流处理与批处理的工作方式不同，例如流处理无法聚合计算元素总数，因为流数据通常都是无界的。所以，流上的聚合是由窗口来界定的。(5s,100条)。 Apache Flink中窗口有翻滚窗口，滑动窗口与会话窗口。基于对数据集的切割能够实现基于时间的窗口(TimeWindow)、基于数据驱动的窗口(CountWindow)等。

时间

既然存在时间窗口，那么就会对时间做一个基本的定义。一般来讲，时间基本上存在与事件处理的当前时间。也就是处理引擎当前的时间。

Apache Flink对于提供了不同的时间概念：

image

• 事件时间(创建时间的时间):类似于我们使用log输出日志的时候所打印的时间。
• 摄取时间：是指事件源输入到Flink的时间。
• 处理时间：基于时间的操作，每次操作的时间。

常规情况下对时间进行区分可以理解为

1. log4j输出一条日志的头带有的时间为 事件时间
2. 采集程序把数据写入到kafka，Apache Flink实时读取Kafka中的数据，读取到该条数据的时间为摄取时间。
3. ApacheFlink进行翻滚窗口处理，翻滚时间为5分钟，那么处理到该条数据的时间则为处理时间。

有状态的计算

image

虽然数据流是无界的数据流，持续产生。但是Apache Flink会记录基于窗口的多个事件的结果。批处理时不需要把数据的当前状态进行存储。而流式计算需要持久的执行，基本上都是以月为单位的执行。那么就需要保存把计算过程持久的存储起来，下次计算的结果直接进行累加。

容错

Apache Flink提供了容错的机制，基于状态与检查点进行执行。该机制确保了当出现故障时系统可以退回到检查点。Apache Flink从容错可处理上可以实现(at least once, exactly once)
⬇⬇⬇ 你好,我是CainGao。一线大数据开发者，关注我一起交流场景实现 ⬇⬇⬇

image