Flink核心组件

一个Flink Cluster是由一个Flink Master和多个TaskManager组成的，Flink Master和TaskManager是集成级组件，其他组件都是进程内的组件

Flink Master中每一个JobManager单独管理一个具体的Job，JobManager中的Scheduler组件负责调度执行该Job的DAG中所有Task，发出资源请求，即整个资源调度的起点;JobManager中Slot Pool组件 持有该 Job 的所有资源。另外，FlinkMaster中唯一的ResourceManager负责整个 Flink Cluster 的资源调度以及与外部调度系统对接，这里的外部调度系统指的是 Kubernetes、 Mesos、Yarn 等资源管理系统
Flink核心组件_第1张图片

1、Master

JobManager

  • 负责一个具体的Job的执行，在一个集群中，可能会有多个JobManager同时执行
  • JobManager的职责主要是接收Flink作业，调度Task，收集作业状态和管理 TaskManager
  • 只有在接受到CLient端提交的任务才会启动

ResourceManager

  • Flink的集群资源管理器，Taskslot的管理和资源申请等工作，都由它负责
  • TaskManager启动后会不停的对ResourceManager进行心跳通信

Dispatcher

  • Dispatcher服务提供REST接口来接收client的job提交，它负责启动JobManager和提交 job，同时运行Web UI
  • 负责接收用户提交的JobGragh, 然后启动一个JobManager来管理应用程序

WebMonitorEndpoint

如果客户端通过 flink run 的方式来提交一个 job 到 flink集群，最终是由
WebMonitorEndpoint来接收，并且决定使用哪一个 Handler 来执行处理

总结

Flink集群的节点运行 : ResourceManager和Dispatcher，当Client提交一个job到集 群运行的时候(客户端会把该Job构建成一个JobGragh 对象)，Dispatcher负责调度 JobManager来管理这个Job的执行，JobManager向ResourceManager申请执行Task 所需要的资源
Flink核心组件_第2张图片

2、详说JobMaster、REST和ResourceManager组件

Flink核心组件_第3张图片
JobManager(Master节点)包括REST、Dispatcher、ResourceManager和 JobMaster，而TaskManager(Worker节点)主要有TaskExecutor

  • REST的主体部分WebMonitorEndpoint接收客户端的HTTP请求，提供各种REST服务，如作 业、集群的指标、各种作业信息的情况、操作作业等
  • Dispatcher的主要功能是接收REST转发的操作JobMaster请求，启动和管理JobMaster。 JobMaster主要负责作业的运行调度和检查点的协调
  • ResourceManager在不同部署模式下对资源进行管理(主要包括申请、回收资源及资源状态 管控)
  • TaskExecutor对资源(CPU、内存等)以逻辑的Slot进行划分，Slot供作业的Task调度到其上 运行

REST

  • REST是JobManager暴露给外部的服务，主要为客户端和前端提供HTTP服务。REST部分源代码的核心WebMonitorEndpoint类
  • WebMonitorEndpoint继承RestServerEndpoint类，实现JsonArchivist和LeaderContender接口，其中 : RestServerEndpoint是基于Netty实现的抽象类，是整个暴露REST服务的核心部分；LeaderContender接口定义了WebMonitorEndpoint在(Leader)选举方面的处理方法；JsonArchivist接口定义了基于ExecutionGraph生成JSON的接口，供查询作业执行信息的 Handler来实现
  • MiniDispatcherRestEndpoint是作为Per-Job模式(一个作业对应一个集群的模式)的实现
  • DispatcherRestEndpoint是作为Session模式的实现

  • WebMonitorEndpoint的核心是启动过程，启动完成即可为外部提供REST服务，WebMontiorEndpoint的启动过程如下 :

    • 初始化处理外部请求的Handler
    • 将处理外部请求Handler注册到路由器(Router)
    • 创建并启动NettyServer
    • 启动首领选举服务

ResourceManager

  • ResourceManager组件负责资源的分配与释放，以及资源状态的管理
  • ResourceManager组件的基础类为ResourceManager
  • ResourceManager类实现的是ResourceManagerGateway接口，实现的方法供 Dispatcher、REST、JobMaster组件调用
  • ResourceManager的子类有StandaloneResourceManager、MesosResourceManager、 YarnResourceManager，作为不同部署模式的实现，实现在各种部署模式下与资源管控的交互

  • ResourceManager与其他组件的通信主要有以下几种 :

    • REST组件通过Dispatcher透传或者直接与ResourceManager通信来获取TaskExecutor的详细信息、集群的资源情况、TaskExecutor Metric查询服务的信息、TaskExecutor 的日志和标志输出。具体体现在Flink UI上
    • JobMaster与ResourceManager的交互主要体现在申请Slot、释放Slot、将JobMaster注册到ResourceManager，以及组件之间的心跳
    • TaskExecutor与ResourceManager的交互主要是将TaskExecutor注册到 ResourceManager、汇报TaskExecutor上Slot的情况，以及组件之间心跳通信
    • 对于资源Slot，在TaskExecutor上以Slot逻辑单元对TaskManager资源(资源CPU、内 存等)进行划分，供作业的Task调度;在JobMaster和ResourceManager上维护与TaskExecutor的Slot的映射关系，JobManager通过SlotPool来管理运行作业的Slot， ResourceManager通过SlotManager来管理TaskManager注册过来的Slot，供多个 JobMaster的SlotPool来申请和分配

JobMaster

  • JobMaster组件主要负责单个作业的执行
  • JobMaster组件对应的基础类为JobMaster类
  • JobMaster类继承FencedRpcEndpoint类来实现带Token(Fencing Token)检查的 RpcEndpoint
  • JobMaster类实现JobMasterGateway接口，来提供其他组件调用的RPC方法
  • JobMaster类实现JobMasterService接口，来供JobManagerRunner调用
  • JobManagerRunner负责JobMaster的创建与启动，以及与JobMaster首领选举相关的处理

  • 在JobMaster组件中，最核心的组件为Scheduler和CheckpointCoordinator

    • 其中Scheduler负责ExecutionGraph的调度，JobMaster的Scheduler的一个核心逻辑是为作业的任务调度申请Slot
    • 而CheckpointCoordinator负责作业检查点的协调
  • JobMaste是申请Slot的流程的发起方，其中的SlotPool作为作业执行图在调度时提供Slot功能 以及对Slot的生命周期管理，与作业一一对应(一个作业有一个SlotPool实例)，其实现类为 SlotPoolImpl

3、TaskManager

  • TaskExecutor组件是TaskManager的核心部分，主要负责多个Task(任务)的执行
  • TaskExecutor组件的基础类为TaskExecutor类
  • TaskExecutor类继承RpcEndpoint抽象类，由实现的AkkaRpcService来支持RpcEndpoint的实现
  • TaskExecutor类实现TaskExecutorGateway接口，提供其他组件(如JobMaster、 ResourceManager等)RPC的方法
  • TaskManagerRunner是各种部署模式下TaskManager的执行入口，负责构建TaskExecutor的网 络、I/O管理、内存管理、RPC服务、HA服务以及启动TaskExecutor
  • TaskExecutor组件负责与ResourceManager、JobMaster的通信，资源Slot的申请和汇报，Task 的部署和操作及状态的变更，以及检查点相关的协调等

  • TaskExecutor与ResourceManager、JobMaster的通信时机的情况如下 :

    • 与ResourceManager初次建立通信是在ResourceManager向部署模式申请和启动 TaskExecutor，TaskExecutor启动后，通过HA服务监听到ResourceManager的首领信息，主动发送消息建立联系
    • TaskExecutor与JobMaster建立通信的时机是ResourceManager向TaskExecutor申请Slot时，TaskExecutor会根据申请Slot中的作业信息，获取JobMaster的通信地址，主动发送信息建立通信，并将Slot提供给JobMaster

  • TaskSlot组织结构与状态
    Slot是划分TaskExecutor资源的基本逻辑单元。TaskExecutor中所有Slot的情况由
    TaskSlotTable类来组织管理。TaskSlotTable类由以下属性组成，管理所有Slot的情况 :

    • timerService : 负责将处于已分配状态(ALLOCATED)的Slot加入超时检测服务。 TaskExecutor将Slot提供给JobMaster，一旦Slot提供JobMaster成功，将移除超时检 测，否则最终会超时。超时会调用freeSlot方法将该Slot置为空闲状态(FREE)
    • taskSlots : 维护所有TaskSlot的列表，供Slot请求通过Slot下标来占有相应的Slot。
    • allocationIDTaskSlotMap : 记录分配ID与TaskSlot的映射情况，供通过分配ID查询 TaskSlot的情况。
    • taskSlotMappings : 记录执行任务的唯一确定ID与任务和TaskSlot的映射，供通过执行 任务的唯一确定ID查询任务绑定TaskSlot的情况
    • slotsPerJob : 记录作业占有Slot的情况
    • slotActions : 负责Slot的释放与超时的逻辑
    • started : 标记TaskSlotTable是否已经启动

  • 接收来自ResourceManager的Slot请求

    • 对Slot的操作和状态变化以及于其他组件通信的逻辑
    • TaskExecutor接收来自ResourceManager的Slot请求入口，TaskExecutor的requestSlot()方法

如感兴趣，点赞加关注，非常感谢！！！

你可能感兴趣的:(flinkjava)

  • 芒果 TV 基于 Flink 的实时数仓建设实践 后端flink大数据实时计算
    公司简介：芒果TV作为湖南广电旗下互联网视频平台，在“一云多屏，多元一体”的战略指导下，通过内容自制，培植核心竞争力，从独播、独特走向独创，并通过市场化运作完成A轮、B轮融资，并于2018年6月，顺利实现资产重组，成为国内A股首家国有控股的视频平台。一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
  • 芒果 TV 基于 Flink 的实时数仓建设实践 Apache Flink flink大数据
    公司简介：芒果TV作为湖南广电旗下互联网视频平台，在“一云多屏，多元一体”的战略指导下，通过内容自制，培植核心竞争力，从独播、独特走向独创，并通过市场化运作完成A轮、B轮融资，并于2018年6月，顺利实现资产重组，成为国内A股首家国有控股的视频平台。一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
  • Flink快速上手之Java API使用 李天泉 Flink
    要求编写你的FlinkJava程序唯一的要求是需要安装Maven3.0.4(或者更高)和Java7.x(或者更高)创建FlinkJava工程使用下面其中一个命令来创建FlinkJava工程1、使用Mavenarchetypes：$mvnarchetype:generate\-DarchetypeGroupId=org.apache.flink\-DarchetypeArtifactId=flink
  • 项目中 枚举与注解的结合使用 飞翔的马甲 javaenumannotation
    前言：版本兼容，一直是迭代开发头疼的事，最近新版本加上了支持新题型，如果新创建一份问卷包含了新题型，那旧版本客户端就不支持，如果新创建的问卷不包含新题型，那么新旧客户端都支持。这里面我们通过给问卷类型枚举增加自定义注解的方式完成。顺便巩固下枚举与注解。 一、枚举 1.在创建枚举类的时候，该类已继承java.lang.Enum类，所以自定义枚举类无法继承别的类，但可以实现接口。
  • 【Scala十七】Scala核心十一：下划线_的用法 bit1129 scala
    下划线_在Scala中广泛应用，_的基本含义是作为占位符使用。_在使用时是出问题非常多的地方，本文将不断完善_的使用场景以及所表达的含义   1. 在高阶函数中使用 scala> val list = List(-3,8,7,9) list: List[Int] = List(-3, 8, 7, 9) scala> list.filter(_ > 7) r
  • web缓存基础：术语、http报头和缓存策略 dalan_123 Web
    对于很多人来说，去访问某一个站点，若是该站点能够提供智能化的内容缓存来提高用户体验，那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储，是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求，这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念，具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容，并谈论下
  • crontab 问题 周凡杨 linuxcrontabunix
      一： 0481-079   Reached   a   symbol   that   is   not   expected.   背景： */5   *   *   *   *  /usr/IBMIHS/rsync.sh 
  • 让tomcat支持2级域名共享session g21121 session
    tomcat默认情况下是不支持2级域名共享session的，所有有些情况下登陆后从主域名跳转到子域名会发生链接session不相同的情况，但是只需修改几处配置就可以了。 打开tomcat下conf下context.xml文件 找到Context标签,修改为如下内容 如果你的域名是www.test.com <Context sessionCookiePath="/path&q
  • web报表工具FineReport常用函数的用法总结（数学和三角函数） 老A不折腾 Webfinereport总结
      ABS ABS(number):返回指定数字的绝对值。绝对值是指没有正负符号的数值。 Number:需要求出绝对值的任意实数。 示例: ABS(-1.5)等于1.5。 ABS(0)等于0。 ABS(2.5)等于2.5。   ACOS ACOS(number):返回指定数值的反余弦值。反余弦值为一个角度，返回角度以弧度形式表示。 Number:需要返回角
  • linux 启动java进程 sh文件 墙头上一根草 linuxshelljar
    #!/bin/bash #初始化服务器的进程PId变量 user_pid=0; robot_pid=0; loadlort_pid=0; gateway_pid=0; ######### #检查相关服务器是否启动成功 #说明： #使用JDK自带的JPS命令及grep命令组合，准确查找pid #jps 加 l 参数，表示显示java的完整包路径 #使用awk，分割出pid
  • 我的spring学习笔记5-如何使用ApplicationContext替换BeanFactory aijuans Spring 3 系列
    如何使用ApplicationContext替换BeanFactory？ package onlyfun.caterpillar.device; import org.springframework.beans.factory.BeanFactory; import org.springframework.beans.factory.xml.XmlBeanFactory; import
  • Linux 内存使用方法详细解析 annan211 linux内存Linux内存解析
    来源 http://blog.jobbole.com/45748/ 我是一名程序员，那么我在这里以一个程序员的角度来讲解Linux内存的使用。 一提到内存管理，我们头脑中闪出的两个概念，就是虚拟内存，与物理内存。这两个概念主要来自于linux内核的支持。 Linux在内存管理上份为两级，一级是线性区，类似于00c73000-00c88000，对应于虚拟内存，它实际上不占用
  • 数据库的单表查询常用命令及使用方法(-) 百合不是茶 oracle函数单表查询
        创建数据库;       --建表 create table bloguser(username varchar2(20),userage number(10),usersex char(2));       创建bloguser表,里面有三个字段     &nbs
  • 多线程基础知识 bijian1013 java多线程threadjava多线程
    一．进程和线程 进程就是一个在内存中独立运行的程序，有自己的地址空间。如正在运行的写字板程序就是一个进程。 “多任务”：指操作系统能同时运行多个进程（程序）。如WINDOWS系统可以同时运行写字板程序、画图程序、WORD、Eclipse等。 线程：是进程内部单一的一个顺序控制流。 线程和进程 a.       每个进程都有独立的
  • fastjson简单使用实例 bijian1013 fastjson
    一.简介         阿里巴巴fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致，是目前Java语言中最快的JSON库；包括“序列化”和“反序列化”两部分，它具备如下特征：     
  • 【RPC框架Burlap】Spring集成Burlap bit1129 spring
    Burlap和Hessian同属于codehaus的RPC调用框架，但是Burlap已经几年不更新，所以Spring在4.0里已经将Burlap的支持置为Deprecated,所以在选择RPC框架时，不应该考虑Burlap了。 这篇文章还是记录下Burlap的用法吧，主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成  
  • 【Mahout一】基于Mahout 命令参数含义 bit1129 Mahout
    1. mahout seqdirectory   $ mahout seqdirectory --input (-i) input Path to job input directory(原始文本文件). --output (-o) output The directory pathna
  • linux使用flock文件锁解决脚本重复执行问题 ronin47 linux lock　重复执行
    linux的crontab命令，可以定时执行操作，最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》现在有个问题，如果设定了任务每分钟执行一次，但有可能一分钟内任务并没有执行完成，这时系统会再执行任务。导致两个相同的任务在执行。 例如： <? //  test .php
  • java-74-数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 bylijinnan java
    public class OcuppyMoreThanHalf { /** * Q74 数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 * two solutions: * 1.O(n) * see <beauty of coding>--每次删除两个不同的数字，不改变数组的特性 * 2.O(nlogn) * 排序。中间
  • linux 系统相关命令 candiio linux
    系统参数 cat /proc/cpuinfo  cpu相关参数 cat /proc/meminfo 内存相关参数 cat /proc/loadavg 负载情况 性能参数 1）top M：按内存使用排序 P：按CPU占用排序 1：显示各CPU的使用情况 k：kill进程 o：更多排序规则 回车：刷新数据 2）ulimit ulimit -a：显示本用户的系统限制参
  • [经营与资产]保持独立性和稳定性对于软件开发的重要意义 comsci 软件开发
         一个软件的架构从诞生到成熟，中间要经过很多次的修正和改造       如果在这个过程中，外界的其它行业的资本不断的介入这种软件架构的升级过程中           那么软件开发者原有的设计思想和开发路线
  • 在CentOS5.5上编译OpenJDK6 Cwind linuxOpenJDK
    几番周折终于在自己的CentOS5.5上编译成功了OpenJDK6，将编译过程和遇到的问题作一简要记录，备查。 0. OpenJDK介绍 OpenJDK是Sun（现Oracle）公司发布的基于GPL许可的Java平台的实现。其优点： 1、它的核心代码与同时期Sun（-> Oracle）的产品版基本上是一样的，血统纯正，不用担心性能问题，也基本上没什么兼容性问题；（代码上最主要的差异是
  • java乱码问题 dashuaifu java乱码问题js中文乱码
    swfupload上传文件参数值为中文传递到后台接收中文乱码     在js中用setPostParams（{"tag" : encodeURI( document.getElementByIdx_x("filetag").value，"utf-8")}）; 然后在servlet中String t
  • cygwin很多命令显示command not found的解决办法 dcj3sjt126com cygwin
    cygwin很多命令显示command not found的解决办法   修改cygwin.BAT文件如下 @echo off D: set CYGWIN=tty notitle glob set PATH=%PATH%;d:\cygwin\bin;d:\cygwin\sbin;d:\cygwin\usr\bin;d:\cygwin\usr\sbin;d:\cygwin\us
  • [介绍]从 Yii 1.1 升级 dcj3sjt126com PHPyii2
    2.0 版框架是完全重写的，在 1.1 和 2.0 两个版本之间存在相当多差异。因此从 1.1 版升级并不像小版本间的跨越那么简单，通过本指南你将会了解两个版本间主要的不同之处。 如果你之前没有用过 Yii 1.1，可以跳过本章，直接从"入门篇"开始读起。 请注意，Yii 2.0 引入了很多本章并没有涉及到的新功能。强烈建议你通读整部权威指南来了解所有新特性。这样有可能会发
  • Linux SSH免登录配置总结 eksliang ssh-keygenLinux SSH免登录认证Linux SSH互信
    转载请出自出处：http://eksliang.iteye.com/blog/2187265 一、原理      我们使用ssh-keygen在ServerA上生成私钥跟公钥，将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。      生成公钥与私钥有两种加密方式，第一种是
  • 手势滑动销毁Activity gundumw100 android
    老是效仿ios，做android的真悲催！ 有需求：需要手势滑动销毁一个Activity 怎么办尼？自己写？ 不用~，网上先问一下百度。 结果： http://blog.csdn.net/xiaanming/article/details/20934541 首先将你需要的Activity继承SwipeBackActivity，它会在你的布局根目录新增一层SwipeBackLay
  • JavaScript变换表格边框颜色 ini JavaScripthtmlWebhtml5css
    效果查看：http://hovertree.com/texiao/js/2.htm代码如下，保存到HTML文件也可以查看效果： <html> <head> <meta charset="utf-8"> <title>表格边框变换颜色代码-何问起</title> </head> <body&
  • Kafka Rest : Confluent kane_xie kafkaRESTconfluent
    最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。 这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。 环境声明：Ubu
  • Calender不是单例 men4661273 单例Calender
             在我们使用Calender的时候，使用过Calendar.getInstance()来获取一个日期类的对象，这种方式跟单例的获取方式一样，那么它到底是不是单例呢，如果是单例的话，一个对象修改内容之后，另外一个线程中的数据不久乱套了吗？从试验以及源码中可以得出，Calendar不是单例。 测试： Calendar c1 =
  • 线程内存和主内存之间联系 qifeifei java thread
    1， java多线程共享主内存中变量的时候，一共会经过几个阶段，    lock:将主内存中的变量锁定，为一个线程所独占。   unclock:将lock加的锁定解除，此时其它的线程可以有机会访问此变量。   read:将主内存中的变量值读到工作内存当中。   load:将read读取的值保存到工作内存中的变量副本中。  
  • schedule和scheduleAtFixedRate tangqi609567707 javatimerschedule
    原文地址：http://blog.csdn.net/weidan1121/article/details/527307 import java.util.Timer;import java.util.TimerTask;import java.util.Date; /** * @author vincent */public class TimerTest {  
  • erlang 部署 wudixiaotie erlang
    1.如果在启动节点的时候报这个错 ： {"init terminating in do_boot",{'cannot load',elf_format,get_files}} 则需要在reltool.config中加入 {app, hipe, [{incl_cond, exclude}]},     2.当generate时，遇到： ERROR
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他