K8S 有状态的应用和示例:Cassandra

本教程描述拉如何在 Kubernetes 上运行 Apache Cassandra。 数据库 Cassandra 需要永久性存储提供数据持久性(应用 状态)。 在此示例中,自定义 Cassandra seed provider 使数据库在加入 Cassandra 集群时发现新的 Cassandra 实例。

使用 StatefulSets 可以更轻松地将有状态的应用程序部署到你的 Kubernetes 集群中。 有关本教程中使用的功能的更多信息, 参阅 StatefulSet。

说明:

Cassandra 和 Kubernetes 都使用术语 node 来表示集群的成员。 在本教程中,属于 StatefulSet 的 Pod 是 Cassandra 节点,并且是 Cassandra 集群的成员(称为 ring)。 当这些 Pod 在你的 Kubernetes 集群中运行时,Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 的 节点上。

当 Cassandra 节点启动时,使用 seed列表 来引导发现 ring 中其他节点。 本教程部署了一个自定义的 Cassandra seed provider,使数据库可以发现新的 Cassandra Pod 出现在 Kubernetes 集群中。

一、教程目标

  • 创建并验证 Cassandra 无头(headless)Service..
  • 使用 StatefulSet 创建一个 Cassandra ring。
  • 验证 StatefulSet。
  • 修改 StatefulSet。
  • 删除 StatefulSet 及其 Pod.

二、准备开始

你必须拥有一个 Kubernetes 的集群,同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。

如果你还没有集群,参考 用 kubeadm 在 Debian 或 Ubuntu 中创建 k8s 集群。

要完成本教程,你应该已经熟悉 Pod, Service和 StatefulSet。

三、教程

1 为 Cassandra 创建无头(headless) Services

在 Kubernetes 中,一个 Service 描述了一组执行相同任务的 Pod。

以下 Service 用于在 Cassandra Pod 和集群中的客户端之间进行 DNS 查找:

cassandra-service.yaml

apiVersion: v1
kind: Service
metadata:
  labels:
    app: cassandra
  name: cassandra
spec:
  clusterIP: None
  ports:
  - port: 9042
  selector:
    app: cassandra

创建一个 Service 来跟踪 cassandra-service.yaml 文件中的所有 Cassandra StatefulSet:

kubectl apply -f ./cassandra-service.yaml

1.1 验证(可选)

获取 Cassandra Service。

kubectl get svc cassandra
NAME        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
cassandra   ClusterIP   None                 9042/TCP   3s

如果没有看到名为 cassandra 的服务,则表示创建失败。 请阅读Debug Services,以解决常见问题。

2 使用 StatefulSet 创建 Cassandra Ring

下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra ring。

cassandra-statefulset.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cassandra-pv-1
  labels:
    type: local
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/tmp"
apiVersion: v1
kind: PersistentVolume
metadata:
  name: cassandra-pv-3
  labels:
    type: local
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/tmp"
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: cassandra
  labels:
    app: cassandra
spec:
  serviceName: cassandra
  replicas: 3
  selector:
    matchLabels:
      app: cassandra
  template:
    metadata:
      labels:
        app: cassandra
    spec:
      terminationGracePeriodSeconds: 1800
      containers:
      - name: cassandra
        image: registry.cn-hangzhou.aliyuncs.com/google_samples_thepoy/cassandra:v13
        imagePullPolicy: Always
        ports:
        - containerPort: 7000
          name: intra-node
        - containerPort: 7001
          name: tls-intra-node
        - containerPort: 7199
          name: jmx
        - containerPort: 9042
          name: cql
        resources:
          limits:
            cpu: "500m"
            memory: 1Gi
          requests:
            cpu: "500m"
            memory: 1Gi
        securityContext:
          capabilities:
            add:
              - IPC_LOCK
        lifecycle:
          preStop:
            exec:
              command: 
              - /bin/sh
              - -c
              - nodetool drain
        env:
          - name: MAX_HEAP_SIZE
            value: 512M
          - name: HEAP_NEWSIZE
            value: 100M
          - name: CASSANDRA_SEEDS
            value: "cassandra-0.cassandra.default.svc.cluster.local"
          - name: CASSANDRA_CLUSTER_NAME
            value: "K8Demo"
          - name: CASSANDRA_DC
            value: "DC1-K8Demo"
          - name: CASSANDRA_RACK
            value: "Rack1-K8Demo"
          - name: POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
        readinessProbe:
          exec:
            command:
            - /bin/bash
            - -c
            - /ready-probe.sh
          initialDelaySeconds: 15
          timeoutSeconds: 5
        # These volume mounts are persistent. They are like inline claims,
        # but not exactly because the names need to match exactly one of
        # the stateful pod volumes.
        volumeMounts:
        - name: cassandra-data
          mountPath: /cassandra_data
  # These are converted to volume claims by the controller
  # and mounted at the paths mentioned above.
  # do not use these in production until ssd GCEPersistentDisk or other ssd pd
  volumeClaimTemplates:
  - metadata:
      name: cassandra-data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi

3 验证 Cassandra StatefulSet

  1. 获取 Cassandra StatefulSet:
kubectl get statefulset cassandra

结果:

NAME        READY   AGE
cassandra   3/3     14m

StatefulSet 资源会按顺序部署 Pod。

  1. 获取 Pod 查看已排序的创建状态:

    kubectl get pods -l app=cassandra
    

    三个 Pod 要花几分钟的时间才能部署。部署之后,相同的命令将返回类似于以下的输出:

    NAME          READY   STATUS    RESTARTS   AGE
    cassandra-0   1/1     Running   0          15m
    cassandra-1   1/1     Running   0          14m
    cassandra-2   1/1     Running   0          13m
    
  2. 运行第一个 Pod 中的 Cassandra nodetool,以显示 ring 的状态。

    kubectl exec -it cassandra-0 -- nodetool status
    

    结果:

    Datacenter: DC1-K8Demo
    ======================
    Status=Up/Down
    |/ State=Normal/Leaving/Joining/Moving
    --  Address      Load       Tokens       Owns (effective)  Host ID                               Rack
    UN  10.244.1.20  70.88 KiB  32           65.9%             2c20de58-2680-4edd-b651-d83e73219a05  Rack1-K8Demo
    UN  10.244.2.16  108.87 KiB  32           69.6%             7fb488d6-5fce-4e82-bfb7-0ac34ddea61d  Rack1-K8Demo
    UN  10.244.3.17  104.55 KiB  32           64.5%             fc9be49a-5fbc-454e-b244-cc7e8b736ca2  Rack1-K8Demo
    

4 修改 Cassandra StatefulSet

使用 kubectl edit 修改 Cassandra StatefulSet 的大小。

  1. 运行以下命令:

    kubectl edit statefulset cassandra
    

    此命令你的终端中打开一个编辑器,修改的就是你之前 apply 的那个配置文件。如果你没有修改过,那么需要更改的是第 51 行的 replicas 字段,将其值修改为 4,:x保存退出。

    集群会自动应用以此方法修改的配置文件,StatefulSet 将会扩展为 4 个 Pod。

    但之前只创建了 3 个 PersistentVolume,每个 Pod 都需要绑定一个 PersistentVolume,所以还需要再手动创建一个 PersistentVolume:

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: cassandra-pv-4
      labels:
        type: local
    spec:
      capacity:
        storage: 1Gi
      accessModes:
        - ReadWriteOnce
      hostPath:
        path: "/tmp"
    
  2. 获取 Cassandra StatefulSet 验证更改:

    kubectl get statefulset cassandra
    

    结果:

    NAME        DESIRED   CURRENT   AGE
    cassandra   4         4         36m
    

5 删除本示例

出于安全考虑,在删除或缩小 StatefulSet 时不会删除与 StatefulSet 关联的卷,因为你的数据更有价值。

:warning:警告: 根据存储类和回收策略,删除 PersistentVolumeClaims 可能导致关联的卷也被删除。 千万不要认为其容量声明被删除,你就能访问数据。

运行以下命令(连在一起成为一个单独的命令)删除 Cassandra StatefulSet 中的所有内容:

grace=$(kubectl get pod cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \
  && kubectl delete statefulset -l app=cassandra \
  && echo "Sleeping ${grace} seconds" 1>&2 \
  && sleep $grace \
  && kubectl delete persistentvolumeclaim -l app=cassandra

运行以下命令,删除你为 Cassandra 设置的 Service:

kubectl delete service -l app=cassandra

6 Cassandra 容器环境变量

本教程中的 Pod 使用来自 Google container registry 的 gcr.io/google-samples/cassandra:v13 镜像(我把这个镜像 Push 到了阿里云容器镜像)。 上面的 Docker 镜像基于 debian-base,并且包含 OpenJDK 8。

该镜像包括来自 Apache Debian 存储库的标准 Cassandra 安装。 通过使用环境变量,您可以更改插入到 cassandra.yaml 中的值。

Environment variable Default value
CASSANDRA_CLUSTER_NAME 'Test Cluster'
CASSANDRA_NUM_TOKENS 32
CASSANDRA_RPC_ADDRESS 0.0.0.0

你可能感兴趣的:(K8S 有状态的应用和示例:Cassandra)