Flink任务中的checkpoing与savepoint相关问题

##一、
现象:checkpoint 正常,savepoint不可做
问题:flink-conf.yaml中缺少相应的配置
解决方案:在flink-conf.yaml中增加配置 state.backend: filesystem

##二、
报错:java.util.concurrent.TimeoutException
现象:checkpoint正常,savepoint失败
解决方案:造成问题很多,此处解决flink sql中的参数配置问题 -yD “high-availabilty”="NONE"导致flink-conf.yaml中高可用配置不可用。

##三、
现象:checkpoint正查,savepoint不可做
问题:flink-conf.yaml中存在IP白名单
解决方案:解开白名单

##四、

现象:checkpoint,savepoint都不可做
报错:NumberQuotaExceedException: KeeperErrorCode = Nodes number exceed quota limit
问题:zk quota超限制数,导致高可用时zk的相应路径下不可再生成节点维护信息,使保存任务失败。
解决方案:手动删除zk相应目录下的过多节点,活着使用工具删除。

##五、
现象:flink任务从savepoint启动失败
报错:illegalStateException: Failed to rollback to checkpoint/savepoint
原因:flink任务使用的是修改后的jar包,从老的savepoint启动时报错,原因是savepoint中的算子和状态与新程序的代码不匹配,导致的flink任务使用的是修改后的jar包。
解决方案:不带savepoint保存点启动任务。

你可能感兴趣的:(flink,大数据)