flink概述

flink概述

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规来执行计算。

Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架

flink应用场景

为什么选择flink

• 流数据更真实地反映了我们的生活方式
• 传统的数据架构是基于有限数据集的
• 我们的目标
  Ø 低延迟
  Ø 高吞吐
  Ø 结果的准确性和良好的容错性

比如：发邮件

行业中处理流数据场景

• 电商和市场营销
  Ø 数据报表、广告投放、业务流程需要,根据点击量，访问量等
• 物联网（IOT）
  Ø 传感器实时数据采集和显示、实时报警，交通运输业
• 电信业
  Ø 基站流量调配
• 银行和金融业
  Ø 实时结算和通知推送，实时检测异常行为

传统大数据业务处理

传统架构缺点，延时性，数据必须经过数据库

有状态的流处理

核心问题事如何保持分布式中前后的数据一致性

流处理发展

重要特点

事件驱动型(Event-driven)

事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以 kafka 为代表的消息队列几乎都是事件驱动型应用。
与之不同的就是 SparkStreaming 微批次，如图

事件驱动

• 传统

• flink

流与批的世界观

批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。

流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计

​ 在 spark 的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。

​ 而在 flink 的世界观中，==一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，==这就是所谓的有界流和无界流

无界数据流：无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理 event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取 event，以便能够推断结果完整性。

有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处

这种以流为世界观的架构，获得的最大好处就是具有极低的延迟。

分层 api

Ø 越顶层越抽象，表达含义越简明，使用越方便

Ø 越底层越具体，表达能力越丰富，使用越灵活

最核心的API,DataStream API

其它特点

支持事件时间（event-time）和处理时间（processing-time）语义
• 精确一次（exactly-once）的状态一致性保证
• 低延迟，每秒处理数百万个事件，毫秒级延迟
• 与众多常用存储系统的连接
• 高可用，动态扩展，实现7*24小时全天候运行

对比sparkstreaming

• 数据模型
  • spark 采用 RDD 模型，spark streaming 的 DStream 实际上也就是一组 组小批数据 RDD 的集合
  • flink 基本数据模型是数据流，以及事件（Event）序列
• 运行时架构
  • spark 是批计算，将 DAG 划分为不同的 stage，一个完成后才可以计算下个
  • flink 是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节
    点进行处理

SparkStreaming的特点是把批处理微分。实际上还是批处理