Flink 再谈State Backends

最近做数据统计时候,在做大状态数据管理时候,发现问题。

因为大状态,我没开checkpoint。申请了6个容器资源,但半小时内就出现slot container丢失,重启。
每隔半小时重启,但开了(ck)checkpoint,采用RocksDBS发现很少出先slot丢失重启。
一直不明白,开始以为ck会消耗性能,没开CK为什么会经常重启。
问了相关人员、查了相关文档才明白。

没开启ck的时候,状态管理都是在MemoryStateBackend,所以6个容器会把一定state资源放在内存里,进行状态管理。
所以,slot容器因为资源不够、维护状态,容易造成失去心跳假死状态。

FsStateBackend 是先把状态写在内存中,再当ck时候,写到hdfs路径。这是最占用资源的。

RocksDBStateBackend 是把state直接写到TaskManager的文件目录下,没有占用内存资源,所以slot丢失很少出现。

一般在做大状态管理,还是首先推荐RocksDBStateBackend

你可能感兴趣的:(Flink)