Flink系列：Flink集群HA高可用

目录

Flink  Standalone高可用性

Flink on Yarn 高可用性

---

 

默认情况下，每个 Flink 集群只有一个 JobManager ，这将导致单点故障 SPOF)。使用 JobManager HA 集群可以从 Job Manager 故障中恢复，从而避免单点故障 。用户 可以在Standalone或Flink on Yarn集群模式下配置 link 集群 （高可用性〉。

 

 

Flink  Standalone高可用性

任何时候都有 Master  Manager和多个JobManager，一旦某一个Manager异常，JobManager 都可以成为Master。

 

实现HA需要依赖 ZooKeeper和HDFS，同时需要设置SSH免密登录等设置，这里不再详述。

 

 

 

Flink on Yarn 高可用性

Flink on Yarn 模式运行的前提是先有Hadoop集群，同样需要用到 ZooKeeper（检查点产生的快照，而这些快照虽然配置在HDFS上，但是其数据信息保存在 ZooKeeper中）

 

主要利用 YARN 的任务恢复机制实现，修改yarn-site.xml配置即可，实现方式比Standalone简单。