Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
zookeeper3.5.7分布式部署
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
- 解压到指定目录，修改文件夹名称
tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/
cd /opt/module
mv apache-zookeeper-3.5.7-bin/ zookeeper
- 增加myid文件
cd /opt/module/zookeeper/
mkdir zkData
cd zkData
vim myid
写入1，保存退出
- 修改配置文件
cd /opt/module/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
增加以下配置（如果已经有的就进行修改、这里要配置8887端口，默认8080）
dataDir=/opt/module/zookeeper/zkData
admin.serverPort=8887
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
- 分发至slave1、slave2节点
scp -r /opt/module/zookeeper root@slave1:/opt/module/
scp -r /opt/module/zookeeper root@slave2:/opt/module/
复制完成后到slave1和slave2上修改myid 分别为 2 3
- 到三台机器上进行启动
cd /opt/module/zookeeper
bin/zkServer.sh start
6.查看状态、确保zk没有问题在往下
bin/zkServer.sh status
kafka3.0分布式部署
官方下载地址：http://kafka.apache.org/downloads.html
上传项目到master节点，解压项目，修改文件夹名称为kafka
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
cd /opt/module/
mv kafka_2.12-3.0.0/ kafka
修改配置文件
cd /opt/module/kafka/config/
vim server.properties
21行：broker 的全局唯一编号，不能重复，只能是数字。这里就设置为0
60行：kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
123行：配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
分发到slave1和slave2
scp -r /opt/module/kafka root@slave1:/opt/module
scp -r /opt/module/kafka root@slave2:/opt/module
在slave1上修改配置文件broker.id=1
vim /opt/module/kafka/config/server.properties
在slave2上修改配置文件broker.id=2
vim /opt/module/kafka/config/server.properties
先启动zk(三个节点都执行)
cd /opt/module/zookeeper
bin/zkServer.sh start
再启动kafka(三个节点都执行)
cd /opt/module/kafka
bin/kafka-server-start.sh -daemon config/server.properties
测试：以下命令正常执行代表kakfa部署成功
创建一个topic
bin/kafka-topics.sh --bootstrap-server master:9092 --create --partitions 1 --replication-factor 3 --topic test
创建一个生产者
bin/kafka-console-producer.sh --broker-list master:9092 --topic test
创建一个消费者
bin/kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic test
查看topic
bin/kafka-topics.sh --bootstrap-server master:9092 --list