当kafka集群其中一台宕机后,集群不能正常工作(已解决)

当kafka集群其中一台挂掉后,会怎么样?

  • 一、介绍
  • 二、问题
  • 三、原因
  • 四、解决办法
    • 1.修改系统_offsets副本数为3
    • 2.修改创建的topic的副本数为3
  • Bug1 kafka启动以后没有添加到zk节点
  • Bug2 无法删除topic

一、介绍

我们搭建好kafka集群后,对其进行性能测试。遇到这种场景:我搭建好了三台kakfa集群,然后停掉其中一台kafka,然后集群是否能正常工作呢?
kafka集群:
192.168.183.53 节点1
192.168.183.55 节点2
192.168.183.62 节点3

创建的主题是hw_data:
三个分区、三个副本

./kafka-topics.sh --create --zookeeper 192.168.183.53:2181 --topic hw_data --partitions 3 --replication-factor 3

二、问题

三个节点启动以后,集群正常工作,正常生产、正常消费。
但是当我们停掉其中一个节点后,发现集群不能正常工作了。

三、原因

我的这个问题的凶手是:__consumer_offsets

首先查看系统的_offsets副本是几个?

./kafka-topics.sh --describe --zookeeper 192.168.183.53|grep consumer_offsets

当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第1张图片
我们看到 副本数为1,这就是导致我们当一个节点宕机后集群无法正常工作的原因!

__consumer_offsets这个topic是由kafka自动创建的,默认50个,但是都存在一台kafka服务器上,这是不是就存在很明显的单点故障?
经测试,如果将存储consumer_offsets的这台机器kill掉,所有的消费者都停止消费了。
__consumer_offsets是一个非常重要的topic,我们怎么能允许它只有一个副本呢?这样就存在单点故障,也就是如果该分区所在的集群宕机了的话,我们的消费者就无法正常消费数据了。

四、解决办法

1.修改系统_offsets副本数为3

修改kafka的核心配置文件server.properties
num.partitions参数(默认为1)修改为3,
另外需要添加auto.create.topics.enable=true ,如果没有对用的topic可以主动创建topic。
当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第2张图片
由于__consumer_offsets是kafka默认的主题,无法删除,我们可以删除zookeeper中的__consumer_offsets
进入zookeeper/bin目录执行./zkCli.sh

ls /broksers/topics
rmr /broksers/topics/__consumer_offsets
ls /broksers/topics

当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第3张图片
先将集群停掉
在重新启动zookeeper和kafka
再次查看__consumer_offsets。发现副本数已经是3

当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第4张图片
在节点1修改__consumer_offsets后,在节点2和节点3查看__consumer_offsets发现副本数已经变为3,不需要再进行修改。
当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第5张图片

当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第6张图片

我的问题到这里就解决了:
启动kafka集群三个节点,然后停掉其中任意一个节点,集群是可以正常工作的。

2.修改创建的topic的副本数为3

查看创建的topic的副本数是否为1.
当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第7张图片

Bug1 kafka启动以后没有添加到zk节点

当kafka集群其中一台宕机后,集群不能正常工作(已解决)_第8张图片
进入zookeeper的bin目录,执行./zk.Cli.sh
删除brokers下的ids

ls /brokers/ids
rmr /brokers/ids

重启kafka,应该就可以了。

Bug2 无法删除topic

我首先使用rmr /brokers/topics/topicname删除了zookeeper中的topic ,这样查看kafka中的topic时,显示已经没有了,
但是我又创建我刚刚删除的主题时,发现他已经显示被标记删除。
我的配置文件已经设置了删除topic为true,但是我删除的主题还是显示被标记删除,没有真正的删除
解决办法:
进入zookeeper的bin目录,执行./zk.Cli.sh
删除config、brokers、admin下的对应主题

rmr /config/topics/topicname
rmr /brokers/topics/topicname
rmr /admin/delete_topics/topicname

你可能感兴趣的:(集群,Bug,消息中间件,kafka,zookeeper,java)