k8s利用statefulset部署kafka集群(依赖zookeeper)

最近在工作上调研k8s部署kafka集群的方案,以下配置和部署方案都是亲测可用,有问题可以评论或私我解决。

kafka需要依赖zookeeper

kafka的生产者与消费者需要在zookeeper中注册,不然消费者怎么知道生产者是否存活之类的哈哈。废话不多说,直接上干货!

本文用的是statefulset和动态存储部署zookeeper和kafka集群。

部署zookeeper的yaml

apiVersion: v1
kind: Service
metadata:
  name: zk-headless
  namespace: liulei
  labels:
    app: zk
spec:
  ports:
  - port: 2888
    name: server
  - port: 3888
    name: leader-election
  clusterIP: None   #指定无头服务,需要对外暴露自行创建一个service
  selector:
    app: zk
---
apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
  name: zk-pdb
  namespace: liulei
spec:
  selector:
    matchLabels:
      app: zk
  minAvailable: 2
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: zk     #指定的zookeeper名称会在kafka.yaml里面用来配置和kafka连接,会创建pod为zk-0,zk-1,zk-2......这里只创建了三个
  namespace: liulei
spec:
  selector:
    matchLabels:
      app: zk
  serviceName: zk-headless
  replicas: 3
  updateStrategy:
    type: RollingUpdate # K8s 会将 StatefulSet 管理的 pod 分批次逐步替换掉
  podManagementPolicy: OrderedReady # 设置为Parallel这样Pod的创建就不必等待,而是会同时创建、同时删除
  template:
    metadata:
      labels:
        app: zk
    spec:
      containers:
      - name: k8s-zk
        image: k8szk:1.0-3.4.10   #需要指定自己的镜像,可去阿里云上下载zookeeper镜像
        imagePullPolicy: Always
        resources:
          requests

你可能感兴趣的:(K8S,kubernetes,kafka,zookeeper)