kafka 高可用副本配置指南

kafka 高可用副本配置指南

前言

因测试环境kafka故障致内部业务异常故写一份配置指南

操作

以下配置及操作kafka目录以实际情况为准

• 可以进入kafka/bin 里面，有kafka一般操作脚本  
• kafka连接的zookeeper的地址在kafka/config/server.properties里面，执行脚本需要zk地址
• 
• 查询kafka集群有多少topic       

•  ./kafka-topics.sh --list --zookeeper XXX:2181     

• 
• 查看topic 分区详情 ，以bsr-notify-topic为例，可以看出该topic 的leader和副本均在 broker 1机器上即上文配置文件里面的broker.id的配置，这样一个broker挂了之后，这个topic就没有发送和消费能力了，丧失了kafka高可用的特性 
• 

• 修改topic的 partitions 的副本配置，需要执行

• ./kafka-reassign-partitions.sh --zookeeper xxxx:2181 --reassignment-json-file /usr/nettv/kafka/config/topicReplication/displayurl-abcache-refresh-topic.json --execute