ERROR Error when sending message to topic kafka_streaming_topic with key: null, value: 3 bytes with ...

问题描述

kafka 生产消费出现异常

报错信息

ERROR Error when sending message to topic kafka_streaming_topic with key: null, value: 3 bytes with error: Failed to update metadata after 60000 ms

问题分析

使用消费者命令（kafka-console-consumer.sh --zookeeper hadoop5:2181 --topic kafka_streaming_topic）消费数据,出错如下：

WARN [console-consumer-75387_hadoop5-1562307646499-5f6a6855], no brokers found when trying to rebalance. (kafka.consumer.ZookeeperConsumerConnector)

应该是kafka没有起来，或是停掉了（原来是起着的）。重新启动kafka（nohup kafka-server-start.sh /home/bigdata/app/kafka/config/server.properties & ），jps 看到kafka进程（这个很坑，因为后来它又消失了，我以为还启动呢，其实就没启起来！！！）
重新消费数据，还是这个错，接着使用生产者命令（ kafka-console-producer.sh --broker-list hadoop5:9092 --topic kafka_streaming_topic），向这个topic，生产数据，就出现了报错信息里的错误。
看日志（logs/server.log），没什么有用信息。
接着，重启kafka，这次在前台启动，看启动有无错误信息，果然发现错误

/tmp/kafka-logs/hello-0/00000000000000000051.index (Permission denied)

应该是某次以root用户来操作导致的，还好就几个topic文件，修改下所属用户，
kafka成功启动，接着重新生产和消费这个topic把，然而生产的时候，有报错了

WARN Error while fetching metadata with correlation id 1993
...
WARN Error while fetching metadata with correlation id 2001

出现这个问题，基本上topic是没了或者是用不了（咋能没呢，欢迎指教）
这kafka的配置文件修改：auto.create.topics.enable=true，让生产者自动创建。
然后，生产和消费成功了。。

解决方法

出现该异常，很有可能你的topic已死，要不新建一个其他名字的topic。要不就修改kafka的配置文件：server.properties,添加配置auto.create.topics.enable=true，让生产者自动创建。
一定先找日志，定位具体原因！！！

 

 

 

 

转载于:https://www.cnblogs.com/junzifeng/p/11139594.html