Flink的容错机制

    本文介绍下Flink的容错机制，目的主要是了解下如果Flink环境发生异常，会不会对计算结果造成影响。

JobManager的容错：

    Flink JobManager的HA仅支持StandAlone和Yarn Cluster两种集群模式。

StandAlone和Yarn Cluster模式下的HA实现方式各不相同：

    Standalone 集群的 JobManager 高可用性的概念是，任何时候都有一个主 JobManager 和 多个备 JobManagers，在主JobManager失异常退出时，会由备JobNamager 接管集群。这样就保证了没有单点故障，一旦备 JobManager 接管集群，作业依旧可以正常运行。
    Yarn Session高可用的话，只会启动一个 JobManager。当 JobManager 发生异常退出时，Yarn 根据yarn.resourcemanager.am.max-attempts(这个配置是个全局配置，如果是1，那么所有提交的job都将只尝试运行一次，所以要设置的大于1)，通过将ApplicationMaster重启来保证Flink集群的高可用。
    如何配置JobManager的HA详见“参考一”，别人已经写的很详细了，我这里就不搬运了。

  （ps:个人建议是长作业尽量使用Yarn Cluster模式中的Single Job Model，而不是Yarn Session Model或者StandAlone，这样可以做到资源隔离，避免Job之间相互干扰，而且也不会导致某个Job导致TaskManager异常，所有Job都要重启。Per job的方式一般不需要配置HA，如果配置了的话，那么使用的方式是Standalone的那种HA方式）

TaskManager容错：

    如果TaskManager挂了，Flink会先将Job cancel掉，然后再以相同的JobID，往集群中仍然存活的TaskManager上部署Job，这时候，如果还有足够的Slot，则Job能够恢复。或者如果使用的per Job的模式，container异常退出了，job会重新启动一个新的container，然后再从Checkpoint恢复，如下图所示：

    反正就是一般情况下TaskManager挂了，Job也能从checkpoint中恢复。但是这时候会有一个问题：部署在某些TaskManager上的Task数会比之前多，造成了这些TaskManager的负载较重，可能还是会出现问题。这时候还是尽快恢复挂掉的TaskManager为好。

 

Job容错(restart-strategy)：

    除了JobManager和TaskManager会出现问题，Job也会出现异常，比如本人在Flink1.10中遇到过序列化问题，Job老是报序列化出错然后自行重启，重启完毕之后又能继续运行下去了(至今没定位到这个错误的原因是啥，换了ES客户端版本之后又不出现了...)。
    Flink提供了多种Job重启策略，可以使Job从最近一次checkpoint自动恢复。重启策略有如下几种：

Job重启策略	重启策略介绍
Fixed delay	按照固定的时间间隔，尝试多次重启Job
Failure rate	Job失败后会重启，但是超过失败率后，Job会最终被认定失败
No restart	Job失败后，不会重启
Fall back	使用集群的重启策略(默认配置)

 

  重启策略可以在配置文件中进行全局配置，也可以从代码中对单个作业进行单独配置，例如：

// 在代码中设置
  env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3, Time.of(10, TimeUnit.SECONDS)));

// 在flink-conf.yaml配置文件中设置
    restart-strategy: fixed-delay
    restart-strategy.fixed-delay.attempts: 3
    restart-strategy.fixed-delay.delay: 10 s

 

Task容错(jobmanager.execution.failover-strategy)：

    为了与Job重启做区分，官方将Task的重启策略叫做故障恢复策略（failover strategy）。

    Restart strategies and failover strategies are used to control the task restarting. Restart strategies decide whether and when the failed/affected tasks can be restarted. Failover strategies decide which tasks should be restarted to recover the job.

它有两个选项：

• Restart All Failover Strategy：

        重启Job中所有的Task，即重置整个ExecutionGraph，简单粗暴。配置文件中配置full。

• Restart Pipelined Region Failover Strategy：

         只重启ExecutionGraph中对应的Region包含的Task，更加智能，降低overhead。配置文件中配置region。

        如下所示，如果我们的ExecutionGraph是一个非连通图（即可以划分为多个独立的pipeline），那么当某个Task失败时，就可以只回溯到该Task所在的连通分量的Source，并重启该连通分量涉及到的所有Task，而其他Task不受影响，如下图所示。此时一个连通分量就是一个Region。

 

 

 

参考：

    https://www.cnblogs.com/zz-ksw/p/11990612.html(HA如何配置)

    https://blog.csdn.net/weixin_34342578/article/details/85768114(Yarn app max attempt解析)

    https://bobjin.com/blog/view/c5f7e5827fc5a9aaeac818fb53ddeafd.html(Flink开发中遇到的问题及解决办法)

    https://www.jianshu.com/p/ee30a5da90ba?tdsourcetag=s_pcqq_aiomsg(Flink JobManager HA)

    https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html

    https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/task_failure_recovery.html(Job重启策略)

    https://www.jianshu.com/p/e701e7ecdc08(Restart Pipelined Region Failover Strategy图示)