Flink问题总结

  1. FlinkException: Failed to validate any of the configured directories to moni

flink1.9关联hadoop配置需要上传flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar包到/opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/lib,否则安装不上

 2. 出现join左边后到,右边先到,导致没有数据

 3. flink sql数据有比较大的延迟

在使用canal+kafka+flink sql+mysql框架中,

现象: 经过我开发测试,从数据发生改变,1s内任务运行完;

测试人员测试的过程中,发现我的任务需要4-5s才能完成任务;

经过我猜测,开发人员开发的时候,update_time不是最新的时间,经过验证,我的猜测是对的;

后来任务还是需要4-5s才能完成,

并且加班排查,发现是开发人员的事务导致,问题我模拟了一下:

Flink问题总结_第1张图片

 

你可能感兴趣的:(flink)