kubernetes下redis集群搭建

一个最小的redis集群，需要3个主节点，以及3个从节点，每个主节点对应一个从节点，主从做数据备份，主节点间做数据分片。当Master掉线后,redis cluster集群会从多个Slave中选举出来一个新的Matser作为代替,而旧的Master重新上线后变成 Master 的Slave。

image.png

在k8s上部署redis集群，需要对每个节点的配置和数据做持久化，并且要确保节点pod重建以后，配置和数据不变，并可以自动将新的pod ip注册到集群。
因此需要结合StatefulSets（有状态集）服务和持久卷来确保redis集群的正确运行。

Statefulset 的设计原理模型:

• 拓扑状态:

应用的多个实例之间不是完全对等的关系,这个应用实例的启动必须按照某些顺序启动,比如应用的主节点 A 要先于从节点 B 启动。而如果你把 A 和 B 两个Pod删除掉,他们再次被创建出来是也必须严格按照这个顺序才行,并且,新创建出来的Pod,必须和原来的Pod的网络标识一样,这样原先的访问者才能使用同样的方法,访问到这个新的Pod。

• 存储状态:

应用的多个实例分别绑定了不同的存储数据.对于这些应用实例来说,Pod A第一次读取到的数据,和隔了十分钟之后再次读取到的数据,应该是同一份,哪怕在此期间Pod A被重新创建过.一个数据库应用的多个存储实例。

使用statefulset服务部署，无论是Master 还是 slave都作为statefulset的一个副本,通过pv/pvc进行持久化,对外暴露一个service 接受客户端请求。

存储类

首先需要准备好nfs 服务器，并在kubernetes中注册nfs 存储类，作为持久卷的来源。
基于StorageClass的动态存储供应整体过程如下图所示：

image.png

1）集群管理员预先创建存储类（StorageClass）；
2）用户创建使用存储类的持久化存储声明(PVC：PersistentVolumeClaim)；
3）存储持久化声明通知系统，它需要一个持久化存储(PV: PersistentVolume)；
4）系统读取存储类的信息；
5）系统基于存储类的信息，在后台自动创建PVC需要的PV；
6）用户创建一个使用PVC的Pod；
7）Pod中的应用通过PVC进行数据的持久化；
8）而PVC使用PV进行数据的最终持久化处理。

使用nfs-client-provisioner 来创建nfs存储类：

1. 创建serviceaccount并授权
2. 创建nfs-client-provisioner服务，指定nfs服务器地址及目录
3. 根据nfs-client-provisioner创建存储类。
   可以使用kubectl应用文件，或者在rancher项目中导入yml文件

#创建serviceaccount及授权
---
kind: ServiceAccount
apiVersion: v1
metadata:
  name: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

#部署nfs-client-provisioner
---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          #image: quay.io/external_storage/nfs-client-provisioner:v2.1.2-k8s1.11
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: nfs-client-provisioner
              # value: fuseim.pri/ifs
            #注意这里指定nfs服务器地址，以及nfs目录
            - name: NFS_SERVER
              value: 172.19.74.250
            - name: NFS_PATH
              value: /app/nfs/data
      volumes:
        - name: nfs-client-root
           #注意这里指定nfs服务器地址，以及nfs目录
          nfs:
            server: 172.19.74.250
            path: /app/nfs/data

#使用自定义的nfs提供方创建存储类
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storage
provisioner: nfs-client-provisioner 

nfs-client-provisioner服务

image.png

nfs-storage存储类

image.png

创建redis集群服务

应用如下yml

#创建配置映射
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: redis-cluster
data:
  update-node.sh: |
    #!/bin/sh
    REDIS_NODES="/data/nodes.conf"
    sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
    exec "$@"
  redis.conf: |+
    cluster-enabled yes
    cluster-require-full-coverage no
    cluster-node-timeout 15000
    cluster-config-file /data/nodes.conf
    cluster-migration-barrier 1
    appendonly yes
    protected-mode no
#创建statefulset服务
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis-cluster
spec:
  serviceName: redis-cluster
  replicas: 6
  selector:
    matchLabels:
      app: redis-cluster
  template:
    metadata:
      labels:
        app: redis-cluster
    spec:
      containers:
      - name: redis
        image: redis:alpine
        ports:
        - containerPort: 6379
          name: client
        - containerPort: 16379
          name: gossip
        command: ["/conf/update-node.sh", "redis-server", "/conf/redis.conf"]
        env:
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        volumeMounts:
        - name: conf
          mountPath: /conf
          readOnly: false
        - name: data
          mountPath: /data
          readOnly: false
      volumes:
      - name: conf
        configMap:
          name: redis-cluster
          defaultMode: 0755
  #pvc模板
  volumeClaimTemplates:
  - metadata:
      name: data
      #指定存储类为nfs-storage
      annotations:
        volume.beta.kubernetes.io/storage-class: nfs-storage
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          #指定持久卷大小
          storage: 1Gi

#创建服务发现，生成集群ip负载到redis集群的6个节点
---
apiVersion: v1
kind: Service
metadata:
  name: redis-cluster
spec:
  type: ClusterIP
  ports:
  - port: 6379
    targetPort: 6379
    name: client
  - port: 16379
    targetPort: 16379
    name: gossip
  selector:
    app: redis-cluster

以下是应用的结果说明，基于rancher界面

1. 创建配置映射，保存redis集群的配置及update-node.sh脚本

image.png

2. 创建StatefulSet服务，指定6个pod

image.png

获取实时pod ip，以便更新集群注册

image.png

指定configmap数据卷，映射redis配置文件

image.png

指定pvc模板数据卷，映射redis数据目录

image.png

3. 配置服务发现

image.png

4. 创建成功以后，自动生成pod

image.png

5. 创建成功以后，自动生成的持久卷，每个pod绑定一个持久卷，pod重建以后，会绑定到同样的持久卷，确保了配置和数据不变。

image.png

注册redis集群

集群pod创建好以后，还需要注册成为cluster，分配主从角色，使用kubectl命令，进入redis-cluster-0pod命令行，执行redis-cli集群注册。节点ip为pod ip。

kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')

查看集群信息

image.png

以上信息说明集群注册成功，并可以正常使用。

经过随机节点删除的故障测试，可以确定少数节点失效，对整个集群的可用性没有影响。