Flink(1)简介

简介

官网，Flink 是分布式大数据处理引擎，可对有限水流或无限数据流做有状态或无状态对计算，能够部署在各种集群环境，对各种规模是数据进行快速的计算

flink的一些概念

• Streams: 流，分有限数据流和无限水流。
• State: 状态，是计算过程中的数据信息
• Time: 分为Event time , Ingestion time , Processing time
• API: 通常分为三层，由上而下分为 SQL/Table API ,DataStream API ,ProcessFunction。

flink 架构

• flink 具备统一的框架处理有界和无界两种数据流的能力。
• 部署灵活。底层支持多种资源调度器，包括 Yarn , Kubernetes 等，Flink 自身带的Standalone 的调度器，在部署上也十分灵活。
• 极高的可伸缩性，可伸缩性对于分布式系统十分重要
• 极致的流式处理性能。

数据处理架构演变

1.传统数据架构

传统数据架构.png

2.分析处理架构

分析数据处理.png

3.有状态流处理

有状态流处理.png

4.lambda架构

lambda架构.png

5.flink

flink.png

参考：尚硅谷Flink 教程
https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/