【学习笔记 - Flink】 Flink 架构

Flink 学习笔记

本文目的在于自己学习过程中的些许总结,会部分引用到以下文章,特此声明,侵删,感谢
引用,学习链接:
Flink官网
三分钟秒懂大数据 - 史上最全干货!Flink面试大全总结(全文6万字、110个知识点、160张图)

Flink 架构

【学习笔记 - Flink】 Flink 架构_第1张图片

  1. Client (项目发起者,架构师)
    Flink 提供的 CLI 命令行工具。用于提交代码到集群,负责 Stream Graph, Job Graph 的构建。

  2. Job Manager (项目经理)
    Ⅰ 根据并行度将 Flink 分解为子任务
    Ⅱ 申请,分配,回收资源
    Ⅲ 当资源申请完成后,分发给 Task Manager 执行 Task
    Ⅳ 监控作业执行状态,如发现异常则恢复作业

    同时 Job Manager 进程由以下 3 个组件组成:Resource Manager,Dispatcher,JobMaster:
    Resource Manager
    申请,分配,回收资源,管理 task slots
    Dispather
    提供 REST 接口,提交 Flink 程序;
    为每个提交的 Flink 程序启动一个 JobMaster;
    运行 Flink Web UI 提供作业运行信息;
    JobMaster
    监管 Flink 应用的生命周期,异常恢复

  3. Task Manager (开发工程师,Worker)
    负责实际作业的启动,执行,停止等。是作业的实际执行者

你可能感兴趣的:(学习笔记,flink)