flink入门

Flink是一个面向分布式数据流处理和批量处理的开源计算平台。

flink入门_第1张图片

Flink优点

支持高吞吐,低延迟,高性能的流处理

支持高度灵活的窗口操作

支持有状态计算的Exactly-once语义

flink入门_第2张图片 

flink入门_第3张图片 

flink入门_第4张图片 

Flink是基于master-slave风格的架构

Flink集群启动时,会启动一个JobManager进程,至少一个TaskManager进程

JobManger

Flink系统的协调者,负责接收job,调度组成Job的多个task执行

收集Job的状态信息,并管理Flink集群中从节点的TaskManager

TaskManager

实际负责执行计算的worker,在其上执行FlinkJob的一组task

负责管理其所在节点上的资源信息,如内存,磁盘网络,在启动时候将资源 的状态向JobManager汇报

client

用户提交一个Flink程序时,会首先创建一个client,该client首先对用户提交的Flink程序进行预处理,并提交到Flink集群

client会将用户提交的Flink程序组装成一个JobGraph,并且以JobGraph的形式提交

flink入门_第5张图片

flink入门_第6张图片 

 

你可能感兴趣的:(flink)