kafka排除zookeeper使用kraft的最新部署方案

kafka在新版本中已经可以不使用zookeeper进行服务部署,排除zookeeper的部署方案可以节省一些服务资源,这里使用 kafka_2.13-3.6.1.tgz 版本进行服务部署。

测试部署分为三个服务器:

服务器名称 服务器IP地址
test01 192.168.56.101
test02 192.168.56.102
test03 192.168.56.103
  1. 将下载的安装包分别上传到三个服务器并解压安装包:
[root@localhost ~]# tar -zvxf kafka_2.13-3.6.1.tgz
[root@localhost ~]# cd kafka_2.13-3.6.1
[root@localhost kafka_2.13-3.6.1]# pwd
/root/kafka_2.13-3.6.1
[root@localhost kafka_2.13-3.6.1]# ls
bin  config  libs  LICENSE  licenses  NOTICE  site-docs
[root@localhost kafka_2.13-3.6.1]# 
  1. 修改配置文件,这里需要在三个服务器上面分别进行修改,需要调整修改几个地方如下:
[root@localhost kafka_2.13-3.6.1]# vim ./config/kraft/server.properties

# 设置角色对应的节点ID,节点ID在集群内不能重复
node.id=1
# kraft中集群节点是有角色划分的,分为broker和controller,测试环境就不去做区分,所有节点都有两种角色
process.roles=broker,controller
# 指定controller仲裁节点列表
controller.quorum.voters=1@192.168.56.101:9093,[email protected]:9093,[email protected]:9093
# 指定数据存储目录
log.dirs=/root/kafka_2.13-3.6.1/datas
# 服务监听地址
listeners=PLAINTEXT://192.168.56.101:9092,CONTROLLER://192.168.56.101:9093
# 对外提供服务的地址和端口号,如果不设置将使用listeners配置的地址
advertised.listeners=PLAINTEXT://192.168.56.101:9092

完成上面的配置后,就可以进行服务器的启动了,首次启动服务器步骤如下:

  1. 生成集群ID,集群id生成使用下面的命令,这个命令只需要在一台服务器上面执行即可,记录生成的这个ID:
[root@localhost kafka_2.13-3.6.1]# ./bin/kafka-storage.sh random-uuid
nJID7Q7dT62E_ehtbO3RaA
  1. 分别在几台服务器上面使用集群ID格式化目录:
[root@localhost kafka_2.13-3.6.1]# ./bin/kafka-storage.sh format -t nJID7Q7dT62E_ehtbO3RaA -c ./config/kraft/server.properties
Formatting /root/kafka_2.13-3.6.1/datas with metadata.version 3.6-IV2.

上面命令执行完成后,配置的数据目录将会生成两个文件,其中 bootstrap.checkpoint 是一个二进制文件,meta.properties 是元数据文件:

[root@localhost kafka_2.13-3.6.1]# ls datas/
bootstrap.checkpoint  meta.properties
[root@localhost kafka_2.13-3.6.1]# 
[root@localhost kafka_2.13-3.6.1]# cat datas/meta.properties 
#
#Sat Feb 03 17:26:43 CST 2024
cluster.id=nJID7Q7dT62E_ehtbO3RaA
node.id=1
version=1
  1. 数据目录格式化完成后就可以启动服务,在启动服务时需要指定配置文件,同时可以通过参数来决定是前台启动服务还是后台启动:
# 后台启动:
$ ./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties
# 前台启动:
$ ./bin/kafka-server-start.sh ./config/kraft/server.properties

完成上面这些一个kafka集群就已经搭建成功了,不使用zookeeper使得服务搭建非常简单,目前这个版本还支持使用zookeeper方式的安装。

# 启动zookeeper服务
$ bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动kafka服务
$ bin/kafka-server-start.sh config/server.properties

但还是建议使用kraft方式启动,毕竟可以省去zookeeper服务的维护,节省一部分资源。

# 以下所有命令都是以test-topic主题为示例,test-group消费者组为示例

# 1. 创建主题:(test-topic 主题名;replication-factor 副本数量,副本是包含leader的,如果某个topic有副本,该值至少要配置为2)
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --create --topic test-topic --partitions 3 --replication-factor 2

# 2. 查看主题:
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --describe --topic test-topic

# 3. 删除主题:
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --delete --topic test-topic

# 4. 列出主题列表
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --list

# 5. 调整分区数量
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 -alter --partitions 4 --topic test-topic

# 6. 查看消费者组信息
$ ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092 --list

# 7. 查看某个消费者组消费情况
$ ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092 --group test-group --describe

# 8. 在控制台向某个主题写入数据:
$ ./bin/kafka-console-producer.sh --broker-list 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --topic test-topic

# 9. 在控制台消费某个主题数据
$ ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --topic test-topic

# 10. 指定消费10条数据
$ ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.101:9092 --topic test-topic --max-messages 10

# 在控制台消费数据时还可以添加参数:
# 最早数据开始消费:--from beginning
# 删除offsets并重新开始消费:--delete-consumer-offsets --from beginning
# 指定消费者组相关信息:--consumer.config ./config/consumer.properties


------
# 下面这些是不怎么常用的命令,没有验证过作为记录供参考:

# 更改主题配置信息:
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092 --entity-type topics --entity-name test-topic --alter --add-config max.message.bytes=128000


# 查看主题配置信息:
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092 --entity-type topics --entity-name test-topic --describe


# 删除配置:
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092  --entity-type topics --entity-name test-topic --alter --delete-config max.message.bytes

# 将test topic的消费组的0分区的偏移量设置为最新
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic:0 --reset-offsets --to-earliest –execute


# 将test topic的消费组的0和1分区的偏移量设置为最旧
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic:0,1 --reset-offsets --to-latest –execute

# 将test topic的消费组的所有分区的偏移量设置为1000
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic --reset-offsets --to-offset 1 –execute

# --reset-offsets后可以跟的其他用法:--to-current:把位移调整到分区当前位移
# --reset-offsets后可以跟的其他用法:--shift-by N: 把位移调整到当前位移 + N处,注意N可以是负数,表示向前移动
# --reset-offsets后可以跟的其他用法:--to-datetime :把位移调整到大于给定时间的最早位移处,datetime格式是yyyy-MM-ddTHH:mm:ss.xxx,比如2017-08-04T00:00:00.000

你可能感兴趣的:(kafka,zookeeper)