第 22 节 Flink 状态、恢复、快照

上篇：第 21 节　Flink Distributed Cache(分布式缓存)

---

1、Flink 状态(State)管理与恢复

（1）状态(State)

我们前面写的wordcount的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at
least once, exactly once)，Flink引入了state和checkpoint。

首先区分一下两个概念

state一般指一个具体的task/operator的状态

【state数据默认保存在java的堆内存中】
而checkpoint

【可以理解为checkpoint是把state数据持久化存储了】
则表示了一个Flink Job在一个特定时刻的一份全局状态快照，即包含了所有task/operator的状态

注意：task是Flink中执行的基本单位。operator指算子(transformation)。

State可以被记录，在失败的情况下数据还可以恢复
Flink中有两种基本类型的State
Keyed State
Operator State

（2）状态(State)

1. Keyed State和Operator State，可以以两种形式存在：
   原始状态(raw state)
2. 托管状态(managed state)
3. 托管状态是由Flink框架管理的状态
4. 而原始状态，由用户自行管理状态具体的数据结构，框架在做checkpoint的时候，使用byte[]来读写状态内容，对其内部数据结构一无所知。
5. 通常在DataStream上的状态推荐使用托管的状态，当实现一个用户自定义的operator时，会使用到原始状态。

---

2、State-Keyed State

1. 顾名思义，就是基于KeyedStream上的状态。这个状态是跟特定的key绑定的，对KeyedStream流上的每一个key，都对应一个state。
   stream.keyBy(…)
2. 保存state的数据结构
   ValueState:即类型为T的单值状态。这个状态与对应的key绑定，是最简单的状态了。它可以通过update方法更新状态值，通过value()方法获取状态值
   ListState:即key上的状态值为一个列表。可以通过add方法往列表中附加值；也可以通过get()方法返回一个Iterable来遍历状态值
   ReducingState:这种状态通过用户传入的reduceFunction，每次调用add方法添加值的时候，会调用reduceFunction，最后合并到一个单一的状态值
   MapState:即状态值为一个map。用户通过put或putAll方法添加元素
3. 需要注意的是，以上所述的State对象，仅仅用于与状态进行交互（更新、删除、清空等），而真正的状态值，有可能是存在内存、磁盘、或者其他分布式存储系统中。相当于我们只是持有了这个状态的句柄

---

3、State-Operator State

1. 与Key无关的State，与Operator绑定的state，整个operator只对应一个state
2. 保存state的数据结构
   ListState
3. 举例来说，Flink中的Kafka Connector，就使用了operator state。它会在每个connector实例中，保存该实例中消费topic的所有(partition, offset)映射
   

---

4、状态容错

1. 依靠checkPoint机制
2. 保证exactly-once
   只能保证Flink系统内的exactly-once
   对于source和sink需要依赖外部的组件一同保证
   
   

---

5、checkPoint简介

---

6、checkPoint的配置

checkPoint的配置

默认checkpoint功能是disabled的，想要使用的时候需要先启用 StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000
ms进行启动一个检查点【设置checkpoint的周期】 env.enableCheckpointing(1000); // 高级选项：
// 设置模式为exactly-once （这是默认值）
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 确保检查点之间有至少500 ms的间隔【checkpoint最小间隔】
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500); //
检查点必须在一分钟内完成，或者被丢弃【checkpoint的超时时间】
env.getCheckpointConfig().setCheckpointTimeout(60000); //
同一时间只允许进行一个检查点
env.getCheckpointConfig().setMaxConcurrentCheckpoints(1); //
表示一旦Flink处理程序被cancel后，会保留Checkpoint数据，以便根据实际需要恢复到指定的Checkpoint【详细解释见备注】
env.getCheckpointConfig().enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);