kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test

最近在调试spark-streaming消费kafka消息时发现日志疯狂输出

        marking the coordinator host:9092 for dead group consumer-test

kafka server为集群,连接时使用的是hostname:9092方法去连接,程序也不报错,去kafka server当中查询consumer-test组也存在,经过排查发现是由于我的kafka集群某些hostname并未在client机器上配置,而其它机器server的hostname配置了,某一个机器网络是不通的,导致去获取该机器上的consumer-test组时无法获取到,就标记该组在机器上为死亡状态。


解决方案:配置该kafka server节点的hostname到client的/etc/hosts文件下,保证两者网络通信畅通。重新启动spark应用后,程序消费正常,问题解决

你可能感兴趣的:(kafka)