flink概述

文章目录

    • flink概述
      • flink应用场景
      • 重要特点
        • 事件驱动型(Event-driven)
        • 流与批的世界观
        • 分层 api
        • 其它特点
        • 对比sparkstreaming

flink概述

flink概述_第1张图片

Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行,以内存执行速度和任意规来执行计算。

Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架

flink应用场景

为什么选择flink

  • 流数据更真实地反映了我们的生活方式
  • 传统的数据架构是基于有限数据集的
  • 我们的目标
    Ø 低延迟
    Ø 高吞吐
    Ø 结果的准确性和良好的容错性

比如:发邮件

行业中处理流数据场景

  • 电商和市场营销
    Ø 数据报表、广告投放、业务流程需要,根据点击量,访问量等
  • 物联网(IOT)
    Ø 传感器实时数据采集和显示、实时报警,交通运输业
  • 电信业
    Ø 基站流量调配
  • 银行和金融业
    Ø 实时结算和通知推送,实时检测异常行为

传统大数据业务处理

flink概述_第2张图片

flink概述_第3张图片

传统架构缺点,延时性,数据必须经过数据库

有状态的流处理

flink概述_第4张图片

核心问题事如何保持分布式中前后的数据一致性

流处理发展

flink概述_第5张图片

flink概述_第6张图片

重要特点

事件驱动型(Event-driven)

事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以 kafka 为代表的消息队列几乎都是事件驱动型应用。
与之不同的就是 SparkStreaming 微批次,如图

flink概述_第7张图片

事件驱动

  • 传统

flink概述_第8张图片

  • flink

flink概述_第9张图片

流与批的世界观

批处理的特点是有界、持久、大量,非常适合需要访问全套记录才能完成的计算工作,一般用于离线统计。

流处理的特点是无界、实时, 无需针对整个数据集执行操作,而是对通过系统传输的每个数据项执行操作,一般用于实时统计

​ 在 spark 的世界观中,一切都是由批次组成的,离线数据是一个大批次,而实时数据是由一个一个无限的小批次组成的。

​ 而在 flink 的世界观中,==一切都是由流组成的,离线数据是有界限的流,实时数据是一个没有界限的流,==这就是所谓的有界流和无界流

无界数据流:无界数据流有一个开始但是没有结束,它们不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理 event。对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序(例如事件发生的顺序)获取 event,以便能够推断结果完整性。

有界数据流:有界数据流有明确定义的开始和结束,可以在执行任何计算之前通过获取所有数据来处理有界流,处理有界流不需要有序获取,因为可以始终对有界数据集进行排序,有界流的处理也称为批处

flink概述_第10张图片

这种以流为世界观的架构,获得的最大好处就是具有极低的延迟。

分层 api

flink概述_第11张图片

Ø 越顶层越抽象,表达含义越简明,使用越方便

Ø 越底层越具体,表达能力越丰富,使用越灵活

最核心的API,DataStream API

其它特点

支持事件时间(event-time)和处理时间(processing-time)语义
• 精确一次(exactly-once)的状态一致性保证
• 低延迟,每秒处理数百万个事件,毫秒级延迟
• 与众多常用存储系统的连接
• 高可用,动态扩展,实现7*24小时全天候运行

对比sparkstreaming

flink概述_第12张图片

  • 数据模型
    • spark 采用 RDD 模型,spark streaming 的 DStream 实际上也就是一组 组小批数据 RDD 的集合
    • flink 基本数据模型是数据流,以及事件(Event)序列
  • 运行时架构
    • spark 是批计算,将 DAG 划分为不同的 stage,一个完成后才可以计算下个
    • flink 是标准的流执行模式,一个事件在一个节点处理完后可以直接发往下一个节
      点进行处理

SparkStreaming的特点是把批处理微分。实际上还是批处理

你可能感兴趣的:(#,flink,flink,big,data,大数据)