【Kafka】TimeoutException: Topic device-state-in-topic not present in metadata after 60000 ms.

1.问题原因

org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: 
Topic device-state-in-topic not present in metadata after 60000 ms.

翻译过来就是:因为Kafka生产者在发送消息时,无法在指定的时间内获取到topic的元数据信息。

2.问题排查

1. Kafka集群中的某个broker宕机或不可用,导致无法获取到topic的元数据信息。
查看集群监控,每个节点都能ping通所以这个没问题。

2. 网络连接不稳定或延迟过高,导致无法及时获取到topic的元数据信息。
相同节点的topic都在正常生产和消费也不是这个问题

3.Kafka版本不兼容,导致无法获取到topic的元数据信息。
这个也不是,版本之前都核对过了

4.项目配置或者业务问题
我们生产到这个topic是一天发一次,在项目里面的其他topic几分钟一次或者实时的都没有问题,那怀疑是不是发送间隔时间太长了,导致的这个问题,我开始写了一个定时任务5分钟往这个topic发一条空数据,观察一天后,果然是这个原因。

我查看了一些kafka的生产者配置 看到下面的配置:

 kafka:
        #连接地址
        bootstrap-servers: 127.0.0.1:9092
        producer:
            properties:
                metadata:
                    max:
                        age:
                            ms: 300000

这个参数意思是:
metadata.max.age.ms是Kafka配置中的一个参数,用于指定元数据的最大生存时间(以毫秒为单位)。

元数据是Kafka中存储有关topic、partition、broker等信息的数据结构。当客户端连接到Kafka集群时,它会向集群的每个broker发送请求以获取元数据。如果元数据在一定时间内没有被更新,那么它将过期并需要重新获取。

我设置成5分钟,元数据在 metadata.max.age.ms 所限定的时间范围内没有进行更新,则会被强制更新,就解决了这个问题。

你可能感兴趣的:(#,消息中间件,kafka,分布式)