kafka消费不到消息原因

今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker，但是kafka里的offsets.topic.replication.factor=3

由于一台机器 --replication-factor 超过1会报错，在创建topic时我只能赋值 --replication-factor=1

 

 

如下

kafka-topics --zookeeper 10.5.10.102:2181 --create --topic t_test --partitions 2  --replication-factor 1   执行没有问题，但是问题已经埋下了
kafka-topics --zookeeper 10.5.10.102:2181 --list 可以查看到
kafka-console-producer --broker-list 10.5.10.123:9092 --topic t_test

kafka-console-consumer  --bootstrap-server 10.5.50.123:9092  --topic t_test --from-beginning

 

解决：要么修改 命令中指定的备份数 ，和CDH中kafka配置的备份数 一致 或大于 CDH中kafka配置的备份数

我解决的办法是添加3台broker后就可以正常消费消息了。

 

下面测试是可以消费的情况。

kafka-topics --zookeeper 10.5.10.102:2181 --create --topic t_test1 --partitions 10  --replication-factor 3   

kafka-topics --zookeeper 10.5.10.102:2181 --list 可以查看到

生产消息
kafka-console-producer --broker-list 10.5.10.123:9092 --topic t_test1

kafka-console-consumer  --bootstrap-server 10.5.50.123:9092  --topic t_test1 --from-beginning