kafka安装

一、安装kafka

官网安装kafka http://kafka.apache.org/downloads （安装2.8版本的，其他版本可能会出现各种问题。。。）

二、配置

下载后新建kafka文件夹，解压压缩包到当前文件夹，新建data和kafka-logs文件夹，作为kafka快照和日志的存储文件夹。
进入到config目录，修改service.properties里面log.dirs路径未log.dirs=D:\kafka\kafka_2.12-3.0.0\kafka-logs 注意：文件夹分割符一定要是”\”

修改zookeeper.properties里面dataDir路径为dataDir=D:\kafka\kafka_2.12-3.0.0\data

启动kafka内置的zookeeper .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties 不关闭页面！！！

启动kafka .\bin\windows\kafka-server-start.bat .\config\server.properties 不关闭页面！！！

创建topic测试主题kafka，成功不关闭页面 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建生产者产生消息，不关闭页面 .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

创建消费者接收消息，不关闭页面 .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

三、用代码实现生产者、消费者

生产者

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
for i in range(10):
    producer.send("test", "Hello {}".format(i).encode("utf-8"))
producer.close()

消费者

from kafka import KafkaConsumer

consumer = KafkaConsumer("test", bootstrap_servers=["localhost:9092"])
for msg in consumer:
    print(msg)