第七章 API及系统架构介绍

第七章 API及系统架构介绍

一、系统架构介绍

Flink系统架构主要分为APIs & Libraries、Core和Deploy三层，如图所示
APIs层：主要实现了面向流处理对应的DataStream API，面向批处理对应的DataSet API

Libraries层：也被称作Flink应用组件层，是根据API层的划分，在API层之上构建满足了特定应用领域的计算框架，分别对应了面向流处理和面向批处理两类，其中面向流处理支持CEP（复杂事件处理）、基于类似SQL的操作（基于Table的关系操作）；面向批处理支持Flink ML（机器学习库）、Gelly（图处理）

运行时层：提供了Flink计算的全部核心实现，例如支持分布式Stream作业执行、JobGraph到ExecutionGraph的映射和调度等，为API层提供了基础服务。

Deploy层:支持多种部署模式，包括本地、集群（Standalone、YARN、Kubernetes）及云部署（GCE/EC2）。

二、Flink中的API

也就是说我们需要学习的核心API就剩以下这三个:

• DataStream API是什么?
  
  DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为 它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但用于处理它们的API是相同的。DataStream 在用法上类似于常规的 Java 集合，但在某些关键方面却大不相同。它们是不可变的，这意味着一旦它们被创建，你就不能添加或删除元素。你也不能简单地察看内部元素，而只能使用 DataStream API 操作来处理它们，DataStream API 操作也叫作转换（transformation）。

你可以通过在 Flink 程序中添加 source 创建一个初始的 DataStream。然后，你可以基于 DataStream 派生新的流，并使用 map、filter 等 API 方法把 DataStream 和派生的流连接在一起。

• Table API是什么？
  
  Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如select、filter和join）。

• SQL API是什么？
  
  SQL API 就是直接可以在代码中写SQL，来实现一些查询（Query）操作。Flink的SQL支持，基于实现了SQL标准的Apache Calcite（Apache开源SQL解析工具）。
  

进阶篇，我们将开启API进一步学习
知识来源：681vip资料分享网