KafkaOffsetMonitor 监控异常处理(消息堆积)

问题

监控发现消费队列没消费完，但是实际情况是消费完的，而且用命令监控是正常的。
管理界面监控：

命令行监控：
bin/kafka-consumer-offset-checker.sh –zookeeper * –topic * –group ** –broker-info

分析

1：topic异常造成：

2:重启过kafka，也许kafka的分区需要重新分配

解决

删除对应的topic:
1、删除kafka存储目录（server.properties文件log.dirs配置，默认为”/tmp/kafka-logs”）相关topic目录
2、Kafka 删除topic（集群中每台都要删除对应的topic）：
如果kafaka启动时加载的配置文件中server.properties没有配置”delete.topic.enable=true”，那么此时的删除并不是真正的删除，而是把topic标记为删除：marked for deletion

你可以通过命令如下来查看所有topic：
kafka/bin/kafka-topics.sh –list –zookeeper Zookeeper地址

此时你若想真正删除它，可以如下操作：
（1）登录zookeeper客户端的命令：
./zkCli.sh -server 0.0.0.0:2181,0.0.0.0.2181,0.0.0.0:2181

（2）找到topic所在的目录：
ls /brokers/topics

（3）找到要删除的topic，执行如下命令即可，此时topic被彻底删除：
rmr /brokers/topics/new_skxb_fatigueChatReset

（4）重启kafka.

kafka重新分配重新分配partition功能:

/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-reassign-partitions.sh –zookeeper 0.0.0.0:2181,0.0.0.0.2181,0.0.0.0:2181 –reassignment-json-file /home/kafka/kafka_2.11-0.10.1.1/config/exchange-rep.json –execute

/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-reassign-partitions.sh –zookeeper 0.0.0.0:2181,0.0.0.0.2181,0.0.0.0:2181 –reassignment-json-file /home/kafka/kafka_2.11-0.10.1.1/config/exchange-rep.json –verify