当kafka集群其中一台宕机后，集群不能正常工作（已解决）

一、介绍

我们搭建好kafka集群后，对其进行性能测试。遇到这种场景：我搭建好了三台kakfa集群，然后停掉其中一台kafka，然后集群是否能正常工作呢？
kafka集群：
192.168.183.53 节点1
192.168.183.55 节点2
192.168.183.62 节点3

创建的主题是hw_data:
三个分区、三个副本

./kafka-topics.sh --create --zookeeper 192.168.183.53:2181 --topic hw_data --partitions 3 --replication-factor 3

二、问题

三个节点启动以后，集群正常工作，正常生产、正常消费。
但是当我们停掉其中一个节点后，发现集群不能正常工作了。

三、原因

我的这个问题的凶手是：__consumer_offsets

首先查看系统的_offsets副本是几个？

./kafka-topics.sh --describe --zookeeper 192.168.183.53|grep consumer_offsets

我们看到 副本数为1，这就是导致我们当一个节点宕机后集群无法正常工作的原因！

__consumer_offsets这个topic是由kafka自动创建的，默认50个，但是都存在一台kafka服务器上，这是不是就存在很明显的单点故障？
经测试，如果将存储consumer_offsets的这台机器kill掉，所有的消费者都停止消费了。
__consumer_offsets是一个非常重要的topic，我们怎么能允许它只有一个副本呢？这样就存在单点故障，也就是如果该分区所在的集群宕机了的话，我们的消费者就无法正常消费数据了。

四、解决办法

1.修改系统_offsets副本数为3

修改kafka的核心配置文件server.properties
将num.partitions参数（默认为1）修改为3,
另外需要添加auto.create.topics.enable=true ,如果没有对用的topic可以主动创建topic。

由于__consumer_offsets是kafka默认的主题，无法删除，我们可以删除zookeeper中的__consumer_offsets。
进入zookeeper/bin目录执行./zkCli.sh

ls /broksers/topics
rmr /broksers/topics/__consumer_offsets
ls /broksers/topics

先将集群停掉
在重新启动zookeeper和kafka
再次查看__consumer_offsets。发现副本数已经是3

在节点1修改__consumer_offsets后，在节点2和节点3查看__consumer_offsets发现副本数已经变为3，不需要再进行修改。

我的问题到这里就解决了：
启动kafka集群三个节点，然后停掉其中任意一个节点，集群是可以正常工作的。

2.修改创建的topic的副本数为3

查看创建的topic的副本数是否为1.

Bug1 kafka启动以后没有添加到zk节点

进入zookeeper的bin目录，执行./zk.Cli.sh
删除brokers下的ids

ls /brokers/ids
rmr /brokers/ids

重启kafka，应该就可以了。

Bug2 无法删除topic

我首先使用rmr /brokers/topics/topicname删除了zookeeper中的topic ，这样查看kafka中的topic时，显示已经没有了，
但是我又创建我刚刚删除的主题时，发现他已经显示被标记删除。
我的配置文件已经设置了删除topic为true，但是我删除的主题还是显示被标记删除，没有真正的删除
解决办法：
进入zookeeper的bin目录，执行./zk.Cli.sh
删除config、brokers、admin下的对应主题

rmr /config/topics/topicname
rmr /brokers/topics/topicname
rmr /admin/delete_topics/topicname