hudi系列-增量查询ckp超时

环境

• hudi 0.11.1
• flink 1.14.5
• MOR表，按天分区，约几百个，每个分区下基本只有一个base文件(最近的分区文件也不多)
• Aligned Checkpoints
• checkpoint timeout 10 分钟
• checkpoint interval 1 分钟

首次checkpoint超时报错

Checkpoint expired before completing.

有一个hudi mor表，我们在它上面做实时应用，但要求初始运行时也须要处理历史的全量数据，因此在使用hudi的增量查询时设置了read.start-commit=earliest，在运行10分钟后就超时报错。通过查看checkpoint详情，发现split_monitor很快完成了ckp,但是算子split_reader一直没有响应，所以是它阻塞了checkpoint.

split_reader为什么不checkpoint

通过观察每个算子的输入输出监控信息，split_monitor首次增量查询时产生了约1000+个分片(文件切片)，实际的表基本就是1000+个很小的parquet文件(几千万数据)。