zookeeper+kafka+python实现初步数据对接

zookeeper安装

1.本地下载zookeeper的包，然后通过rz上传到服务器上
2.进入zookeeper/bin/conf，复制zoo_sample.cfg，命名为zoo.cfg,参考代码

cp zoo_sample.cfg zoo.cfg

3.修改zoo.cfg的配置文件，主要修改两处，其他的因人而异

dataDir=/usr/zookeeper/data
dataLogDir=/usr/zookeeper/logs

4.可以运行了

bin/zkServer.sh start

更详细一点的教程参考：https://blog.csdn.net/she_lock/article/details/80435176

kafka安装

1.上传压缩包到服务器并且解压
2.修改配置文件,本人主要修改以下几点，其他部分因人而异。

vi /usr/zookeeper/config/server.properties

这里需要注意的是，ip地址不要写localhost或者127.0.0.1，最好写具体的ip地址，因为后续其他机器需要连接的时候才不会出错。
4.运行

bin//kafka-server-start.sh config/server.properties

测试

1.建立一个test的主题

bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 1 --topic test

2.查看所有主题

bin/kafka-topics.sh --list --zookeeper localhost:2181  

3.生产者发送消息

bin/kafka-console-producer.sh --broker-list ip:9092 --topic test

例如发送hello world
4.消费者消费消息
直接ctrl+c退出或者打开另外一个窗口

/usr/java/kafka_2.12-2.2.0/bin/kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test --from-beginning

收到了刚刚发送的消息，就表示链路已经通了。
更加详细的见
https://blog.csdn.net/luozhonghua2014/article/details/80369469（kafka的配置文件）
https://www.cnblogs.com/zyt-bg/p/10368786.html（kafka的测试）

Python发送数据到kafka

1.安装Python，建议安装一个编译器，例如vscode
2.下载kafka-Python第三方包
3.写代码

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=["ip:9092"])
producer.send("test",b"Hello world")

接着消费者测试一下是否收到了消息就可以了.