（二十六）大数据实战——kafka集群之Kraft模式安装与部署

前言

本节内容主要介绍kafka3.0版本以后，一种新的kafka集群搭建模式看kraft，在该模式下，kafka高可用不在依赖于zookeeper，用 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进 行 Kafka 集群管理。

正文

①解压kafka安装包到/opt/module/kafka-kraft目录下

- 命令：

mkdir -p /opt/module/kafka-kraft
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/kafka-kraft

②修改kafka目录下/opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft的配置文件server.properties

 - server.properties配置文件目录

- 服务器基础配置

############################# Server Basics #############################

# The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller

# The node id associated with this instance's roles
node.id=1

# The connect string for the controller quorum
controller.quorum.voters=1@hadoop101:9093,2@hadoop102:9093,3@hadoop103:9093

- 对外暴露地址的配置

advertised.listeners=PLAINTEXT://hadoop101:9092

- 配置数据存储目录

log.dirs=/opt/module/kafka-kraft/kafka_2.12-3.0.0/data

③同步kafka的kraft模式安装包到hadoop102和hadoop103，并修改配置

 - 同步kafka安装包

- 修改hadoop102的server.properties配置文件

- 修改hadoop103的server.properties配置文件

④初始化kafka-kraft集群数据目录

-  生成存储目录唯一 ID

bin/kafka-storage.sh random-uuid

- 用该ID格式化kafka集群的存储目录

bin/kafka-storage.sh format -t 4l-ahopRSLSJlH-qxczhYg -c /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties

⑤创建kafka集群启停脚本

 - 在kafka的bin目录创建集群启停脚本my-kafka-kraft.sh

#! /bin/bash
case $1 in
"start"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo " --------启动 $i Kafka2-------"
 ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties"
 done
};;
"status"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo =============== $i ===============
 ssh $i jps
 done
};;
"stop"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo " --------停止 $i Kafka2-------"
 ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
 done
};;
esac

- 在hadoop101服务器创建my-kafka-kraft.sh脚本

 ⑥配置kafka-kraft环境变量

- 修改环境变量配置

- 同步环境变量配置

⑦启动集群、停止集群、查看集群状态

 

结语

至此，关于kafka集群之Kraft模式安装与部署到这里就结束了，我们下期见。。。。。。