1-- Flink Kubernetes Operator 简介 2023

目录

1.历史发展

2.flink k8s operator 的适用场景

2.1 需要快速部署

2.2 需要高可用性

2.3 需要资源隔离

2.4 需要一定的灵活性

3.Flink k8s operater 的优点

3.1 相对于 yarn 的优点

3.2 相对于 flink native kubernetes 资源管理的优点

3.4.Flink k8s operator 自身的缺点

4.未来发展

5.官方链接

---

1.历史发展

原图下载：Flink kubernetes operator 发展大事件时间轴| ProcessOn免费在线作图,在线流程图,在线思维导图

2.flink k8s operator 的适用场景

        Flink Kubernetes Operator 是一个用于在 Kubernetes 上运行 Flink 集群的工具。Flink Kubernetes Operator 适用于以下场景：

2.1 需要快速部署

        Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。

2.2 需要高可用性

        Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。

2.3 需要资源隔离

        Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。

2.4 需要一定的灵活性

        Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。例如 Kubernetes 的监控和日志记录工具，以提高 Flink 集群的可管理性和可观察性。

3.Flink k8s operater 的优点

3.1 相对于 yarn 的优点

• 统一运维：不需要单独去维护 HDP 或者 CDH 集群提供 Yarn 服务，而是由运维维护 K8S 即可；
• CPU 隔离：K8S Pod 之间 CPU 隔离，实时任务不相互影响，作业更加稳定；
• 存储和计算分离：Flink 计算资源和状态存储分离，计算资源能够和其他组件资源进行混部，提升机器使用率；
• 弹性伸缩：当前的 flink k8s operator 暂未实现，但用户可以选择 native kubernetes 实现，以便更好地节省人力和物力成本。

3.2 相对于 flink native kubernetes 资源管理的优点

• 简化部署：不需要用户去管理多个复杂的编排文件；
• 自动 savepoint ： 可设置  savepoint 的周期、保存地址和滚动数量

3.4.Flink k8s operator 自身的缺点

• 灵活性不够高：因为目前是非云原生的
• 兼容的版本有限：目前仅支持 Flink 1.13、1.14、1.15和 1.16 版本
• k8s node 宕机后，恢复慢：flink taskmanager pod 目前不能自动转移
• 用户体量较少，未知的 bug 较多：目前是 apache flink 独立出来的一个子项目，大部分企业都还是在使用 flink native kubernetes 管理，或者自己二次开发了 flink k8s operator，但没有完全贡献到社区。

4.未来发展

        按照社区对 Flink kubernetes operator 的开发规划，接下来的重心应该是在 Flink native (embedded) k8s integration 上。

 

5.官方链接

GitHub - GoogleCloudPlatform/flink-on-k8s-operator: [DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.

GitHub - apache/flink-kubernetes-operator: Apache Flink Kubernetes Operator

Roadmap | Apache Flink

FLIP-212: Introduce Flink Kubernetes Operator - Apache Flink - Apache Software Foundation