flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flink sql - group by 字段 [不等于] 主键字段导致写入pg表死锁原因分析

1、环境描述

1、flink 1.13.2
2、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑
3、事实表join维度表

2、找死锁sql

在flink任务的taskmanager 上找到的死锁sql:
【没有找到 insert 相关的sql】
数据库运维监控平台日志显示的死锁sql :

3、数据发生变更时间对比

业务记录修改时间和kafka接收到数据的时间如下：
flink 任务报错的时间如下：

总上图分析如下：

1. 业务表[维度表]数据变更timestamp : 2021-12-07 14:56:34 [modify_time - 8h] ，操作是 猪场名：猪场 更新为 猪场1
2. 业务表[维度表]数据变更timestamp : 2021-12-07 14:57:36 ，操作是 猪场名：猪场1 更新为 猪场2
3. flink 任务死锁发生的timestamp：2021-12-07 14:56:53 ，维度表数据写入到kafka , 到发生死锁时间差：18s

5、综上数据来分析死锁原因

1、group by 有 org_name , 主键id [组合id] 里面没有添加org_name作为主键的一部分；
Group by+Agg模式在底层的有一些特点：
Group by分组操作，会产生数据shuffle
按Key的agg操作，最终都需要落到同一个物理进程上才能保证计算的正确性

2、业务表的org_id 对应org_name 发生变更时间：2021-12-07 14:57:36.236，flink 死锁发生时间：2021-12-07 14:56:53,831 ， [业务库服务器和flink 服务器存在时间偏差]时间基本吻合 ；
为了排除时间干扰， 消费kafka数据，即引起死锁的org_id 是否对应两个org_name ， 时间戳接近，且当前使用的org_name 时间戳大
3、flink 每次延时2s进行批写入，由Group by+Agg模式在底层的特点和以上分析描述可知， kafka中存在同个org_id 对应两个org_name , 会导致同一个org_id 对应的数据被分发到不同节点
4、两个事务分别执行， 会导致两个事务竞争/请求同一个org_id 对应的block而出现死锁

6、问题解决

增加org_name作为主键的其中一个字段， 使主键总字段 = group by 字段 ， 重跑任务，解决问题

7、在测试环境尝试复现验证

暂未复现

7、总结

1、group by 字段总和必须要等于主键字段；因为flink 会先根据group by 进行数据分组shuffle到不同服务节点， 再根据 key 做 agg 操作 ， 当两个事务对同一个key进行 delete 、update 、insert 操作就会造成死锁。

备注：以上有错误的地方，欢迎大佬们指出，感谢！