Windows和Linux环境搭建kafka服务(三)

Windows和Linux环境搭建kafka服务(三):Linux环境下搭建kafka集群服务。

首先了解下单节点kafka的搭建:https://blog.csdn.net/rico_zhou/article/details/79866076

https://blog.csdn.net/rico_zhou/article/details/80332434

接下来我们在两个Linux电脑搭建kafka集群,每台电脑需要有java环境,包括一个kafka,三个zookeeper,假设ip分别是192.168.1.140,192.168.1.174.在每台电脑usr文件夹下创建文件夹linuxkafkacluster,然后复制一个kafka,三个zookeeper放进去,zookeeper重命名1,2,3以区分,再创建四个.sh文件用以启动和停止kafka,zookeeper,如图

Windows和Linux环境搭建kafka服务(三)_第1张图片

接下来修改配置,先修改zookeeper的配置文件zoo.cfg,进入目录zookeeper-3.4.11_1/conf,重命名zoo_sample.cfg,打开zoo.cfg,在最后添加配置

Windows和Linux环境搭建kafka服务(三)_第2张图片

还有一个地方

Windows和Linux环境搭建kafka服务(三)_第3张图片

Windows和Linux环境搭建kafka服务(三)_第4张图片

Windows和Linux环境搭建kafka服务(三)_第5张图片

注意六个zookeeper(每台三个)的dataDir后缀分别是zookeeper1,2,3,4,5,6,端口分别是

2181,2182,2183,2184,2185,2186,端口是一定不能一样,六个zookeeper都需要对应更改,然后在创建对应的dataDir目录tmp/zookeeper1......

Windows和Linux环境搭建kafka服务(三)_第6张图片

接下来修改kafka的配置,打开server.properties,添加并修改部分配置

Windows和Linux环境搭建kafka服务(三)_第7张图片


zookeeper.connect的值需要把所有的六个zookeeper填写全。接下来我们到每台电脑的tmp/zookeeperX文件夹下,创建一个名字为myid的文件,注意没有后缀,文件内容就是数字1,对应其他的就是2,3,4,5,6,如图

Windows和Linux环境搭建kafka服务(三)_第8张图片


接下来填写四个.sh文件,首先是启动zookeeper命令


停止zookeeper命令


启动kafka命令


停止kafka命令


接下来配置好后开始自动,先在一台电脑启动zookeeper

Windows和Linux环境搭建kafka服务(三)_第9张图片

你会看到报错信息

Windows和Linux环境搭建kafka服务(三)_第10张图片

只是因为zookeeper还没有全部启动,再到另一台Linux启动zookeeper

Windows和Linux环境搭建kafka服务(三)_第11张图片

不再报错,zookeeper启动成功,然后每台电脑启动kafka

Windows和Linux环境搭建kafka服务(三)_第12张图片


在ip192.168.1.174创建topic test11,并创建生产者和消费者,在192.168.1.140只创建消费者,在生产者中输入消息,将会在两个kafka中被消费到

Windows和Linux环境搭建kafka服务(三)_第13张图片

Windows和Linux环境搭建kafka服务(三)_第14张图片

Windows和Linux环境搭建kafka服务(三)_第15张图片

这样Linux环境kafka集群搭建成功,可以在两个kafkalog中看到topic test11,Linux环境下kafka较为稳定,建议在Linux下搭建,欢迎交流学习,如有不当请指正!




你可能感兴趣的:(kafka,Linux)