k8s无脑系列(七)- NFS存储(动态存储)

k8s无脑系列(七)- NFS存储(动态存储)

1. 为什么需要动态存储

大概其的说一说,不一定对。总之一开始就觉得是个好东西。用到了,自然能体会到好处。

  1. 为每一个需要存储的资源编写pv,pvc很繁琐。

  2. 相同类型的请求有很多,急需快速可控的方案来实现动态申请。pvc申请,自动绑定pv

  3. 需要可以精细控制的存储回收重利用。既要保证容量,又要保证数据安全

2. 了解StorageClass

2.1 基础术语

  • pv - Persistent Volume(持久化存储卷)
  • pvc - Persistent Volume Claim(持久化存储卷请求)
  • pvp - Persistent Volume Provisioner(持久化存储卷供应者)
  • cluster role 集群操作角色,直接翻译role为角色,引申含义是角色具备哪些权限

2.1 原理

k8s无脑系列(七)- NFS存储(动态存储)_第1张图片

  1. 管理员创建Provisioner(供应者),负责为外部请求提供pv(持久化存储卷)实例

  2. StorageClass代替pvc(持久存储卷请求)向绑定的Provistioner发出pv(持久化存储卷)实例的请求

  3. Pod绑定的pvc通过pvc获取pv实例进行存储

3. 前期准备

物料 内容 备注
nfs服务 192.168.56.4 一台
存储目录 /data/nfs/db-svc-dynamic-volume 用于存放数据
k8s集群 无脑系列有介绍 版本1.16.4

3.1 Yaml涉及的概念

名称 解释 备注
StorageClass k8s API Doc
ServiceAccount 服务账户
Role/ClusterRole 角色/集群角色
RoleBinding/ClusterRoleBinding 角色与账户绑定

3.2 先定义服务账户权限

定义一个服务账户,该账户负责向集群申请资源。
定义“集群角色”,“角色”并与服务账户绑定。所以,yaml中才会分五部分。分别是

  1. service account
  2. cluster role
  3. cluster role 与 service account绑定
  4. role
  5. role 与 service account 绑定

nfs-storage-rbac.yaml


apiVersion: v1
# 定义服务账户
kind: ServiceAccount
metadata:
  # 名字要知命达意,这个账户专门为数据库服务
  # {用途}-svc-{卷类型}-account
  name: db-svc-nfs-account 
  namespace: default
---
# 定义集群角色声明该角色的权限列表,可以看出全是存储相关
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  # 与 db-svc-nfs-account 相呼应
  name: db-svc-nfs-cluster-role
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
# 定义完角色后,就要将ServiceAccount与ClusterRole来绑定
kind: ClusterRoleBinding 
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: db-svc-nfs-account-cluster-role-bind
subjects:  # 这里用的数组结构,那么可以认为这一个“角色”可以被多个账户绑定
  - kind: ServiceAccount
    # 账户名字,见ServiceAccount的name
    name: db-svc-nfs-account
    namespace: default
roleRef:
  kind: ClusterRole
  # 角色的名字,见ClusterRole的name
  name: db-svc-nfs-cluster-role
  apiGroup: rbac.authorization.k8s.io
---
# 专门用来操作pvc与pv绑定时,ServiceAccount可以使用的权限
kind: Role # 角色
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: db-svc-nfs-role
  namespace: default
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
# 与角色绑定的ServiceAccount
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: db-svc-nfs-account-role-bind
subjects:
  - kind: ServiceAccount
    # 账户名字,见ServiceAccount的name
    name: db-svc-nfs-account
    namespace: default
roleRef:
  kind: Role
  # 角色名字,见role
  name: db-svc-nfs-role
  apiGroup: rbac.authorization.k8s.io
$kubectl create -f nfs-storage-rbac.yaml
serviceaccount/db-svc-nfs-account created
clusterrole.rbac.authorization.k8s.io/db-svc-nfs-cluster-role created
clusterrolebinding.rbac.authorization.k8s.io/db-svc-nfs-account-cluster-role-bind created
role.rbac.authorization.k8s.io/db-svc-nfs-role created
rolebinding.rbac.authorization.k8s.io/db-svc-nfs-account-role-bind created

3.3 创建StorageClass

nfs-storage-class.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: db-svc-nfs-storage-class
# 这个名字要记住
provisioner: db-svc-nfs-provistioner  
parameters:
  archiveOnDelete: "false"
reclaimPolicy: Retain

3.4 创建NFS Provisioner

nfs-provisioner.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: db-svc-nfs-provisioner
  labels:
    app: db-svc-nfs-provisioner
  namespace: default  
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: db-svc-nfs-provisioner
  template:
    metadata:
      labels:
        app: db-svc-nfs-provisioner
    spec:
      # 这里说明,用上面创建的service account来创建pv
      serviceAccountName: db-svc-nfs-account
      containers:
      - name: nfs-client-provisioner
        image: quay.io/external_storage/nfs-client-provisioner:latest
        volumeMounts:
        - name: nfs-client-root
          mountPath: /persistentvolumes
        env: #------ 这里是有学问的,见3.7
        - name: PROVISIONER_NAME
          value: db-svc-nfs-provistioner  
        - name: NFS_SERVER
          value: 192.168.56.4
        - name: NFS_PATH  
          value: /data/nfs/db-svc-dynamic-volume
      volumes:
        - name: db-svc-dynamic-volume
          nfs: #----- 这里是有学问的,见3.7
            server: 192.168.56.4  
            path: /data/nfs/db-svc-dynamic-volume
$kubectl create -f nfs-provisioner.yaml

3.5 创建Persistent Volume Claim

nfs-dynamic-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
  namespace: default
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: db-svc-nfs-storage-class
$kubectl create -f nfs-dynamic-pvc.yaml

*注意:如果系统报告下面的错误,说明您看过了无脑系列其它部分内容

Error from server (AlreadyExists): error when creating "nfs-dynamic-pvc.yaml": persistentvolumeclaims "mysql-pvc" already exists

请调用如下命令删除

$kubectl delete pvc mysql-pvc

3.6 校验系统是否正常运行

$kubectl get pv,pvc
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM               STORAGECLASS               REASON   AGE
persistentvolume/pvc-e95e6bfb-aeba-4a96-b8eb-90c0db607ad9   1Gi        RWO            Retain           Bound    default/mysql-pvc   db-svc-nfs-storage-class            17m

NAME                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS               AGE
persistentvolumeclaim/mysql-pvc   Bound    pvc-e95e6bfb-aeba-4a96-b8eb-90c0db607ad9   1Gi        RWO            db-svc-nfs-storage-class   17m
  1. 出现了ersistentvolume/pvc-e95e6bfb-aeba-4a96-b8eb-90c0db607ad9 这样的PV

  2. mysql-pvc状态显示‘Bound’

  3. 系统正常运行!

3.7 多问一个为什么

为什么Provisioner中出现了重复设定NFS的内容呢?

说一下nfs-client-provisioner这个镜像

这个镜像的代码在Github中,查看代码得出结论

  1. 与集群ApiServer联通,并完成PV的创建过程。

  2. 在创建PV过程中,需要用到NFS_SERVER与NFS_PATH这两个变量

    $kubectl describe pv pvc-e95e6bfb-aeba-4a96-b8eb-90c0db607ad9
    Name:            pvc-e95e6bfb-aeba-4a96-b8eb-90c0db607ad9
    Labels:          <none>
    Annotations:     pv.kubernetes.io/provisioned-by: db-svc-nfs-provistioner
    Finalizers:      [kubernetes.io/pv-protection]
    StorageClass:    db-svc-nfs-storage-class
    Status:          Bound
    Claim:           default/mysql-pvc
    Reclaim Policy:  Retain
    Access Modes:    RWO
    VolumeMode:      Filesystem
    Capacity:        1Gi
    Node Affinity:   <none>
    Message:
    Source:
     Type:      NFS (an NFS mount that lasts the lifetime of a pod)
     Server:    192.168.56.4  <--------这里
     Path:      /data/nfs/db-svc-dynamic-volume/default-mysql-pvc-pvc-e95e6bfb-aeba-4a96-b8eb-90c0db607ad9 
     ReadOnly:  false
    Events:        <none>
    
  3. 之所以还需要给镜像挂载一个volume,是因为需要代码来完成集群给PV下达的reclaimPolicy指令,并完成具体操作

你可能感兴趣的:(kubernetes)