kafka消费组查看和删除

生产环境监控发现kafka存在大量消费组

查看消费组信息：

./kafka-consumer-groups.sh --bootstrap-server ip:port --list

查看特定消费组信息：

./kafka-consumer-groups.sh --bootstrap-server ip:port --describe --group console-consumer-49781

 多次查看发现消息数在增加，但是offset一直不变，说明这些消费组很多不在消费。

删除消费组：

./kafka-consumer-groups.sh --bootstrap-server ip:port --delete --group {消费组}

kafka的消费组和偏移量的存储位置

 1. zookeeper存储
在java-api来消费，使用kafka.javaapi.consumer.ConsumerConnector，通过配置参数zookeeper.connect来消费。消费者的offset会更新到zookeeper的consumers/{group}/offsets/{topic}/{partition}目录下。

2. kafka topic存储
根据kafka默认的api来消费，即org.apache.kafka.clients.consumer.KafkaConsumer，配置参数bootstrap.servers来消费。而其消费者的offset会更新到一个kafka自带的topic：__consumer_offsets下。

本文记录下如何删除Kafka无用的消费者组。