重置Kafka Consumer偏移量

个人博客原文地址：http://www.ltang.me/2017/06/05/kafka-consumer-problem/

产生原因

中午在生产数据库执行了升级sql，导致数据表结构变更，产生了大量的binlog信息，后台服务(order-service)使用kafka consumer消费binlog消息，由于数据量大，处理缓慢，导致后续的生产订单更新无法通过binlog更新到redis, 前端组件查询不到最新的订单信息等。

解决方法

1. 使用Kafka的Consumer消费这些处理缓慢的消息：

   //进入kafka容器bin目录，执行
   kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Binlog --zookeeper *.*.*.*:2181 --consumer.config consumer.config
   
   //consumer.config内容为groupId
   group.id=... 

   消费完后，重启服务，重新加载缓存，后面使用正常

2. 重置Topic偏移量到最新(未实操)

   bin/kafka-run-class.sh kafka.tools.UpdateOffsetsInZK latest consumer.properties topic
   
   //其中,consumer.properties为consumer配置信息
   zookeeper.connect=*.*.*.*:2181
   zookeeper.connection.timeout.ms=6000
   group.id=...

后续关注点

• 生产上线sql，如果影响数据量大，需要在晚上下班后执行；