(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务

前言

kafka是分布式环境下常用的MQ消息中间键之一,能够实现流量削峰、异步解耦等等功能,大数据环境下常常使用其实现海量数据的收集。本节内容我们主要介绍一下使用kubesphere平台安装一个k8s环境下依赖zookeeper服务的高可用的kafka集群服务。关于zookeeper的集群服务安装,请读者参考作者往期博客内容,关注我,不迷路。

正文

  • 关于kafka的docker镜像资源的说明

①kafka的docker官方镜像不能直接用于此次集群服务搭建,由于官方kafka镜像在k8s环境中节点broker.id不能根据k8s的规则动态配置,这里我们需要根据实际需求定制我们可以动态改变kafka中broker.id节点的镜像。或者通过镜像启动命令参数动态写入其配置。作者这里选择第一种方案,通过定制其k8s环境下的镜像实现节点broker.id动态赋值。

②这里使用的镜像是:ydockerp/kafka:3.1.0

  • kafka集群服务搭建

- 点击应用负载-服务-创建-有状态服务 

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第1张图片

- 填写kafka基本配置信息,点击下一步

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第2张图片

- 选择容器组副本数量为3,这里根据自己实际需求选择,点击添加镜像

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第3张图片

- 填写kafka镜像,ydockerp/kafka:3.1.0,加载完镜像,选择使用默认端口

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第4张图片

- 勾选环境变量,填写zookeeper集群服务的客户端地址,使kafka集群可以连接上zookeeper集群服务,注意,这里的变量名只能按照作者ZOOKEEPER_CONNECT这个变量名填写,这是作者构建镜像启动kafka服务用到的环境变量;并勾选同步主机时区,点对号添加

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第5张图片

 - 点击下一步,添加存储卷模板

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第6张图片

- 添写存储卷基本信息,点对号添加,点击下一步

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第7张图片

 - 点击创建,完成kafka集群创建

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第8张图片

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第9张图片

  • kafka集群验证

- 点击进入kafka的任意一个节点

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第10张图片

- 通过kafka命令创建一个kafka的主题first

#创建主题
./bin/kafka-topics.sh --bootstrap-server app-kafka-v1-0.app-kafka.app.svc.cluster.local:9092 --create --topic first --partitions 3 --replication-factor 3

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第11张图片

- 通过kafka命令查询创建的主题详细信息

./bin/kafka-topics.sh --bootstrap-server app-kafka-v1-0.app-kafka.app.svc.cluster.local:9092 --describe --topic first

(十三)从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务_第12张图片

结语

到这里使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务就结束了,创作不易,别忘了关注、收藏、加点赞哦,我们下期见。。。

你可能感兴趣的:(kubesphere,k8s,MQ,kubernetes,云原生,容器)