Windows和Linux环境搭建kafka服务(三):Linux环境下搭建kafka集群服务。
首先了解下单节点kafka的搭建:https://blog.csdn.net/rico_zhou/article/details/79866076
https://blog.csdn.net/rico_zhou/article/details/80332434
接下来我们在两个Linux电脑搭建kafka集群,每台电脑需要有java环境,包括一个kafka,三个zookeeper,假设ip分别是192.168.1.140,192.168.1.174.在每台电脑usr文件夹下创建文件夹linuxkafkacluster,然后复制一个kafka,三个zookeeper放进去,zookeeper重命名1,2,3以区分,再创建四个.sh文件用以启动和停止kafka,zookeeper,如图
接下来修改配置,先修改zookeeper的配置文件zoo.cfg,进入目录zookeeper-3.4.11_1/conf,重命名zoo_sample.cfg,打开zoo.cfg,在最后添加配置
还有一个地方
注意六个zookeeper(每台三个)的dataDir后缀分别是zookeeper1,2,3,4,5,6,端口分别是
2181,2182,2183,2184,2185,2186,端口是一定不能一样,六个zookeeper都需要对应更改,然后在创建对应的dataDir目录tmp/zookeeper1......
接下来修改kafka的配置,打开server.properties,添加并修改部分配置
zookeeper.connect的值需要把所有的六个zookeeper填写全。接下来我们到每台电脑的tmp/zookeeperX文件夹下,创建一个名字为myid的文件,注意没有后缀,文件内容就是数字1,对应其他的就是2,3,4,5,6,如图
接下来填写四个.sh文件,首先是启动zookeeper命令
停止zookeeper命令
启动kafka命令
停止kafka命令
接下来配置好后开始自动,先在一台电脑启动zookeeper
你会看到报错信息
只是因为zookeeper还没有全部启动,再到另一台Linux启动zookeeper
不再报错,zookeeper启动成功,然后每台电脑启动kafka
在ip192.168.1.174创建topic test11,并创建生产者和消费者,在192.168.1.140只创建消费者,在生产者中输入消息,将会在两个kafka中被消费到
这样Linux环境kafka集群搭建成功,可以在两个kafkalog中看到topic test11,Linux环境下kafka较为稳定,建议在Linux下搭建,欢迎交流学习,如有不当请指正!