kafka集群之kraft模式部署
一、了解kraft
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，kafka3.x开始提供KRaft模式，来取消Kafka对Zookeeper的依赖。
那么，kraft模式的优势又有哪些呢？
1、更简单的部署和管理——通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka；
2、提高可扩展性——KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。
二、安装部署kraft模式的kafka集群
1、下载安装包
在kafka官网下载对应版本的二进制安装包，这边下载的是3.3.1，如下图所示[kafka下载地址](https://kafka.apache.org/downloads)
下载后上传至服务器即可。
2、部署配置
2.1 解压缩
tar -zxvf kafka_2.12-3.3.1.tgz -C /home/
2.2 修改配置文件
mv /home/kafka_2.12-3.3.1 /home/kafka
chown zondy:zondy -R /home/kafka
cd /home/kafka/
mkdir data
vim /home/kafka/config/kraftserver.properties
这里初步要修改的地方有以下参数，生产环境还需要根据实际需要调整其他参数以满足生产需求。
#对应节点的id，这里三台节点，分别为1,2，3
node.id=1
#集群选举控制器配置
controller.quorum.voters=1@172.17.9.191:9093,2@172.17.9.192:9093,3@172.17.9.193:9093
#监听服务ip端口设置
advertised.listeners=PLAINTEXT://172.17.9.191:9092
#设置日志文件存储路径
log.dirs=/home/kafka/data
2.3 分发kafka
scp -r /home/kafka [email protected]:/home
scp -r /home/kafka [email protected]:/home
2.4 修改其他两个节点的配置
节点2
#对应节点的id，这里三台节点，分别为1,2，3
node.id=2
advertised.listeners=PLAINTEXT://172.17.9.192:9092
节点3
#对应节点的id，这里三台节点，分别为1,2，3
node.id=3
advertised.listeners=PLAINTEXT://172.17.9.193:9092
2.5 生成集群ID
整个集群有一个唯一的ID标志，使用uuid。可使用官方提供的 kafka-storage 工具生成，亦可以自己去用其他生成uuid。
/home/kafka/bin/kafka-storage.sh random-uuid
生成ID：fu_Rqt_4SxeMK46nDRSJNA
2.6 格式化存储路径
/home/kafka/bin/kafka-storage.sh format -t fu_Rqt_4SxeMK46nDRSJNA -c /home/kafka/config/kraft/server.properties
2.7 启功节点服务
在每个节点上启动 Kafka 服务器。
bin/kafka-server-start.sh -daemon ./config/kraft/server.properties
可通过jps查看kafka进程是否已经运行。
2.8 验证及测试
创建topic
bin/kafka-topics.sh --create --topic First_Kafka_Topic --partitions 1 --replication-factor 3 --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092
查看topic列表
bin/kafka-topics.sh --list --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092
至此，Kafka的集群基本安装完成，后续根据生产环境进行参数调优。
3、集群启停脚本
为了方便集群启停操作，这边写了kafka集群启停脚本。
cd /usr/bin
vim kfk.sh
#!/bin/bash
#kafka集群启动脚本
case $1 in
"start"){
for i in 172.17.9.191 172.17.9.192 172.17.9.193
do
echo "--------启动 $i kafka with kraft-------"
ssh $i "/home/kafka/bin/kafka-server-start.sh -daemon /home/kafka/config/kraft/server.properties"
done
};;
"stop"){
for i in 172.17.9.191 172.17.9.192 172.17.9.193
do
echo "------停止 $i kafka--------"
ssh $i "/home/kafka/bin/kafka-server-stop.sh"
done
};;
esac
chmod 777 kfk.sh
启动命令：kfk.sh start
停止命令：kfk.sh stop