kafka+zk三台集群问题排查

问题描述:

项目中人大金仓同步工具同步数据增量到kafka集群,无法自动创建topic,以及出现同步到topic时连接失败的问题,经过排查修改配置参数最终解决。

重新安装zk和kafka

操作步骤

1、先把zk和kafka都停掉

三台都执行

zookeeper/bin/zkServer.sh stop

三台都执行

kafka/bin/kafka-server-stop.sh

2、把之前的目录文件都备份删除

mv /data/zkData /data/zkData-bak

mv /data/zkLogData /data/zkLogData-bak

mv /mnt/kafka-logs /mnt/kafka-logs-bak

重新建目录

mkdir /data/zkData

mkdir /data/zkLogData 

每台zk的 /data/zkData目录下创建myid文件,内容分别是1、2、3

最后重启zk和kafka

彻底删除topic

配置文件增加delete.topic.enable=true

使用kafka-topic的delete命令删除

./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

登录zk删除

(1)登录zookeeper客户端:命令:./bin/zkCli.sh

     (2)找到topic所在的目录:ls /brokers/t

你可能感兴趣的:(大数据组件,消息队列,kafka,zookeeper,big,data)