pyKafka的消费者可以正常消费,但是通过kafka-consumer-groups.sh命令查询不到消费者的存在

环境描述

  • kafka server是1.1.1版本
  • pyKafka使用的是2.4.0
  • python 3.5
问题描述

使用simple_consumer
import pykafka
from pykafka import KafkaClient
client = KafkaClient(source_address="192.168.200.63",hosts="192.168.200.63:9092",zookeeper_hosts="192.168.200.63:2183/venus", broker_version='1.0')
topic = client.topics['venus']
simple_consumer = topic.get_simple_consumer(
    consumer_group='venusCg',
    auto_commit_enable=True,
    consumer_id =b"1231313a"
)
for message in simple_consumer:
    if message is not None:
        print (message.offset, message.value)

查看消费者
在这里插入图片描述
看不到消费者。 哎。。。

使用balanced_consumer
import pykafka
from pykafka import KafkaClient
client = KafkaClient(source_address="192.168.200.63",hosts="192.168.200.63:9092",zookeeper_hosts="192.168.200.63:2183/venus", broker_version='1.0')
topic = client.topics['venus']
simple_consumer = topic.get_balanced_consumer(
    consumer_group='venusCg',
    auto_commit_enable=True,
)
for message in simple_consumer:
    if message is not None:
        print (message.offset, message.value)

查看结果
pyKafka的消费者可以正常消费,但是通过kafka-consumer-groups.sh命令查询不到消费者的存在_第1张图片
结果报错了,搞了半天也没搞定


不知道是不是我哪里设置的不对,还请各位大神指点一下

我的解决办法

我换了一个模块,使用kafka-python模块解决了这个问题


有问题进QQ群630300475聊一聊,大家一起进步

你可能感兴趣的:(python,kafka,pykafka)