Kafka + zookeeper的最详细的集群搭建

kafka+zookeeper最牛最完整的集群搭建

1. linux版本的zookeeper下载地址

2. 这里演示的是apache-zookeeper-3.5.7-bin.tar.gz 这个版本和kafka的
   kafka_2.13-2.4.1.tgz，哪个版本不要紧 重要的是 kafka和bin同级目录的libs里面的zookeeper 的版本相同才可以，呕心沥血多少个版本遇见的坑

3. 这里准备三台虚拟机 在每一台虚拟机上重复配置集群搭建

4. 解压zookeeper 里面的 -C 意思是解压到指定的目录 
   

   tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /usr/local/

5. 可以换一个名字随自己的心意，在usr/local目录下

   mv apache-zookeeper-3.5.7-bin zookeeper

6. 改名之后进入zookeeper cd 这个命令就不写了

   1)mkdir data
   2)cd data
   3)vim myid

   如图所示：
   
   这里只能设置正整数 这里数字 1 作用是对应kafka中的唯一标识broker.id后面会介绍 当然第二台虚拟机这里 设置2 最后一台设置3

7. 进入conf路径 复制zoo_sample.cfg 并改名为zoo.cfg 只认这一个名字

   cp zoo_sample.cfg zoo.cfg

8.编辑zoo.cfg 命令就是 vim zoo.cfg
如图所示：

8. 三台虚拟机重复上面的操作 那么zookeeper的集群搭建就算完成了接下来启动zookeeper

   /usr/local/zookeeper/bin/zkServer.sh start

9. 查看启动的状态

   /usr/local/zookeeper/bin/zkServer.sh status

如图所示才算搭建成功：

到这里zookeeper的集群才算搭建并且启动成功

kafka的集群搭建及启动测试

1. 准备kafka的安装包下载地址kafka_2.13-2.4.1.tgz

2. 在每台虚拟机上执行以下步骤：
   进入解压缩之后的kafka 和bin同级目录下之后

   mkdir logs 创建logs 存放日志的目录

3. 进入config目录编辑server.properties

   vim /usr/local/kafka/config/server.properties

   修改配置如下（IP地址应该根据实际情况填写)

   broker.id=1
   listeners=PLAINTEXT://192.168.1.42:9092
   zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181

   在kafka-2主机中修改server.properties配置文件

   打开配置文件

   vim /usr/local/kafka/config/server.properties

   修改配置如下（IP地址应该根据实际情况填写）

broker.id=2
listeners=PLAINTEXT://192.168.1.41:9092
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181

在kafka-3主机中修改server.properties配置文件

打开配置文件

vim /usr/local/kafka/config/server.properties

修改配置如下（IP地址应该根据实际情况填写）

broker.id=3
listeners=PLAINTEXT://192.168.1.41:9092
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181

启动kafka（要确保zookeeper已启动）

在每台主机上分别启动kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties

在其中一台虚拟机(192.168.1.47)创建topic ip如实填写

bin/kafka-topics.sh --create --zookeeper 192.168.109.131:2181 --partitions 2 --replication-factor 2 --topic first

查看创建的topic信息 ip如实填写

bin/kafka-topics.sh --list --zookeeper 192.168.109.131:2181

以上就是zookeeper和kafka的集群搭建并测试成功 希望能帮助有需要的人-----刘志良