Debezium系列之:记录一次快速处理生产环境debezium connector故障,并使用debezium补缺失的数据

Debezium系列之:记录一次快速处理生产环境debezium connector故障,并使用debezium补缺失的数据

  • 一、背景
  • 二、快速恢复connector
  • 三、使用debezium补缺失的数据

一、背景

debezium生产环境connector故障了,需要快速处理才能不影响后续数据开发任务,同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。

  • debezium connector状态是正常的,但是发现debezium没有采集数据库数据
  • 生产环境需要快速使connector恢复工作采集数据
  • 解决思路是:先恢复connector实现实时采集数据,再通过debezium补历史遗漏数据

二、快速恢复connector

  • connector状态正常,但就是无法采集数据,直接删除debezium故障的connector
  • 提交一个新的debezium connector,可以使用新的history topic,创建新的history topic,使用新的connector名称
  • 使用的模式是schema_only,如提示需要使用schema_only_recovery,则更新模式为schema_only_recovery,或者直接删除connector,使用schema_only_recovery
  • 查看connector状态,确保状态

你可能感兴趣的:(debezium,Debezium)