K8S初级入门系列之九-共享存储

一、前言

     Pod里面的容器都有自己独立的文件系统,来自容器镜像,用于保存容器运行的数据,但容器的文件存储有两个弊端,一个是无法持久化,其生命周期与容器一致,一旦容器销毁,相关的数据也就随之一起销毁;二是无法共享,Pod里多个容器之间无法共享数据,会导致无法提供完整的服务,比如监控容器需要读取业务容器提供的日志数据,就无法实现。

     为解决以上问题,K8S提供多种类型存储卷。

二、存储卷类型

  实际上,在前面的章节中,已经接触到各种卷,比如在K8S初级入门系列之四-Namespace/ConfigMap/Secret章节中,ConfigMap与Secret就是K8S公开给Pod的特殊类型的卷。K8S支持的存储卷类型有很多。

1、EmptyDir

     emptyDir用于同一Pod下多个容器间的共享存储,其形式是存储临时数据的简单空目录,既然是临时的,一旦Pod删除,其存储的内容也就丢失了。我们来看下面的场景:

K8S初级入门系列之九-共享存储_第1张图片

      该Pod中有两个容器,分别为write-app和read-app,其中write-app将数据写入到/wite-app/logs文件下,而read-app容器从/read-app/logs文件读取数据。/write-app/logs与/read-app/logs都指向同一个共享存储卷,其类型为emptyDir,这个完成两个容器的数据共享。其yaml如下:

[root@k8s-master yaml]# cat emptydir-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: emptydir-pod
spec:
  containers:
  - image: busybox
    name: write-app
    volumeMounts:
    - mountPath: /write-app/logs
      name: shared-dir
    args:
    - /bin/sh
    - -c
    - echo this is  write-app >> /write-app/logs/app.log; sleep 60000
  - image: busybox
    name: read-app
    volumeMounts:
    - mountPath: /read-app/logs
      name: shared-dir
    args:
    - /bin/sh
    - -c
    - cat /read-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-dir
    emptyDir: {}

其yaml模型解析如下:

K8S初级入门系列之九-共享存储_第2张图片

    在每个容器中定义挂载点,并指定挂载的本地目录,以及指向的卷名称。再定义一个卷,设置卷名称和类型,这样就通过卷名称将容器的挂载点与该卷进行关联。

    执行该文件,创建Pod后,从read-app容器中查看下log数据

[root@k8s-master yaml]# kubectl apply -f emptydir-pod.yaml 
pod/emptydir-pod created
[root@k8s-master yaml]# kubectl exec emptydir-pod -c read-app cat /read-app/logs/app.log
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
this is write-app

可以看到,正确的读取到了write-app容器写入的字符,从而实现了Pod内的存储共享。

2、HostPath

     EmptyDir是实现Pod内容器间的存储共享,HostPath是实现节点内Pod间的文件共享。以上面的场景为例。

K8S初级入门系列之九-共享存储_第3张图片

       HostPath是Pod所在节点服务器上的文件存储(即/tmp),该节点上的两个Pod容器,共享该文件存储。将上面的例子分拆成两个Pod,其yaml文件如下:

  • hostpath-write-pod.yaml
[root@k8s-master yaml]# cat hostpath-write-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: hostpath-write-pod
spec:
  containers:
  - image: busybox
    name: write-app
    volumeMounts:
    - mountPath: /write-app/logs
      name: shared-dir
    args:
    - /bin/sh
    - -c
    - echo this is  write-app >> /write-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-dir
    hostPath: 
      path: /tmp
  • hostpath-read-pod.yaml内容如下:
[root@k8s-master yaml]# cat hostpath-read-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: hostpath-read-pod
spec:
  containers:
  - image: busybox
    name: read-app
    volumeMounts:
    - mountPath: /read-app/logs
      name: shared-dir
    args:
    - /bin/sh
    - -c
    - cat /read-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-dir
    hostPath: 
      path: /tmp

       执行文件,创建Pod成功后,进入到read-app的Pod的容器,查看数据读取。

[root@k8s-master tmp]# kubectl exec hostpath-read-pod -c read-app cat /read-app/logs/app.log
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
this is write-app

        如EmptyDir类型一样,能正确的读取到数据。按照HostPath的定义,这个app.log的实体文件应该位于所在节点服务器的/tmp目录下,我们查看下。

[root@k8s-node1 ~]# cd /tmp
[root@k8s-node1 tmp]# ll
total 12
-rw-r--r-- 1 root root   18 Apr 21 20:53 app.log
[root@k8s-node1 tmp]# cat app.log 
this is write-app

       可以看到,确实在Pod所在的节点(这两个Pod调度到了node1,非master)上的/tmp目录下写入了app.log,内容正是write-app写入的字符串。

      当删除这两个Pod后,该节点上的app.log文件还在,从而也实现了持久化存储。

      由于HostPath可以将容器的文件目录映射到节点的目录,从而无需每次都进入容器查看数据,要方便很多。比如我们在使用Ngnix容器时,就可以将其配置文件和日志文件映射到节点的文件中,直接在节点的文件系统就可以进行配置和查看。

3、NFS

    在多个节点间,如何共享存储卷呢?K8S提供了多种方式:

  • 基于云计算厂商的特定存储,比如Google的GCE持久化存储卷,AWS的EBS,微软的azureDisk等。
  • 基于网络文件存储,如NFS,CephFS,GlusterFS等。

下面就以NFS为例介绍节点间的共享存储,我们来改造上面的例子。

K8S初级入门系列之九-共享存储_第4张图片

      NFS的服务端安装到master节点上,并配置/nfs/data的作为NFS的挂载路径,安装过程这里就省略了,可以自行查询相关文档。下面看下两个改造后的Pod的yaml文件

  • nfs-write-pod.yaml
[root@k8s-master yaml]# cat nfs-write-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: nfs-write-pod
spec:
  tolerations:
   - key: "node-role.kubernetes.io/master"
     operator: "Exists"
     effect: "NoSchedule"
  containers:
  - image: busybox
    name: write-app
    volumeMounts:
    - mountPath: /write-app/logs
      name: shared-nfs-dir
    args:
    - /bin/sh
    - -c
    - echo this is  write-app >> /write-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-nfs-dir
    nfs:
      server: 192.168.16.4
      path: /nfs/data

     该pod将volumes的类型改为nfs,并配置nfs的server(master节点ip)和path路径。为了将该Pod调度到master节点,增加了tolerations属性,这方面的内容可以参考K8S初级入门系列之五-Pod的高级特性

  • nfs-read-pod.yaml 
[root@k8s-master yaml]# cat nfs-read-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: nfs-read-pod
spec:
  containers:
  - image: busybox
    name: read-app
    volumeMounts:
    - mountPath: /read-app/logs
      name: shared-nfs-dir
    args:
    - /bin/sh
    - -c
    - cat /read-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-nfs-dir
    nfs:
      server: 192.168.16.4
      path: /nfs/data

     执行以上yaml文件,创建pod并查看pod状态:

[root@k8s-master yaml]# kubectl get pod -o wide
NAME                                     READY   STATUS             RESTARTS          AGE     IP               NODE         NOMINATED NODE   READINESS GATES
nfs-read-pod                             1/1     Running            0                 23m     10.244.36.72     k8s-node1               
nfs-write-pod                            1/1     Running            0                 24m     10.244.235.199   k8s-master              

       可以看到,nfs-write-pod按照要求调度到master节点上,而nfs-read-pod调度到node1节点上,进入nfs-read-pod读取日志文件。

[root@k8s-master data]# kubectl exec nfs-read-pod -c read-app cat /read-app/logs/app.log
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
this is write-app

       可以正确的读取到日志内容。由于NFS配置的是master节点的/nfs/data目录。进入该目录看下内容

[root@k8s-master yaml]# cd /nfs/data
[root@k8s-master data]# ll
total 4
-rw-r--r-- 1 root root 18 Apr 29 20:30 app.log
[root@k8s-master data]# cat app.log 
this is write-app

日志内容也已经写入了该文件。

三、PV/PVC

     前面所介绍的分配存储的方式都是命令式的,按照既定的指令创建存储。这里存在一个问题,在实际工程中,Pod的yaml文件一般是由开发人员维护,而存储卷作为底层资源,一般是由运维管理员维护,这种方式导致各方的工作无法解耦,这显然不符合K8S的设计理念。为了解决该问题,K8S提供了PV和PVC对象。如下图所示:

K8S初级入门系列之九-共享存储_第5张图片

    管理员根据现有卷资源申明式创建PV(Persisten Volume,持久卷),指定PV的大小和所支持的访问模式,注意的是,这里仅是申明,并没有分配实际的物理存储。开发人员根据需求申请PVC(Persistent VolumeClaim),指定所需的最小容量和访问模式,并将PVC作为卷使用到Pod中。K8S根据PVC的申请找到匹配的PV,并绑定到PVC,此时PVC就可以作为持久卷在Pod中使用了。

     可以将PV看做Class类,而PVC是该Class的Object对象实现。

下面我们就来实现下上面的过程。

1、PV的创建

首先申明一个PV(名为nfs-pv),其yaml如下:

[root@k8s-master yaml]# cat nfs-pv.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv
  labels:
    pv: nfs-pv
spec:
  capacity:
    storage: 1Gi
  volumeMode: Filesystem
  storageClassName: my-storage
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  nfs:
    path: /nfs/data
    server: 192.168.16.4

我们来看下里面的核心属性:

1、capactity,定义PV的存储容量。

2、volumeMode,卷模式,包括以下两种:

  • Filesystem(文件系统),会被Pod挂载到某个目录,默认的模式。
  • Block(块),将卷作为原始块设备来使用,该模式以块设备的方式交给 Pod 使用,其上没有任何文件系统

3、storageClassName,存储类别,如果PV设定该类别,那么只有请求了该类别的PVC才能与之绑定,关于storyClass我们在第四节将专门介绍。

4、accessModes,访问模式,有以下几种模式,不同的卷插件类型,支持的模式也不同。

  • ReadWriteOnce(RWO),可以被一个节点以读写方式挂载。
  • ReadOnlyMany(ROX),可以被多个节点以只读方式挂载。
  • ReadWriteMany(RWX),可以被多个节点以读写方式挂载。

5、persistentVolumeReclaimPolicy,当PV被释放后,回收策略,包括以下 几种:

  • Retain ,保留,需要手动回收。
  • Recycle ,回收空间,清除相关的文件。仅 NFS 和 HostPath 支持回收。本例的NFS就使用这种模式进行演示。
  • Delete, AWS EBS、GCE PD、Azure Disk 或 OpenStack Cinder 卷这类关联存储资产也被删除。

6、卷插件,目前主要支持以下类型:

  • cephfs - CephFS volume
  • csi - 容器存储接口 (CSI)
  • fc - Fibre Channel (FC) 存储
  • hostPath - HostPath 卷 (仅供单节点测试使用;不适用于多节点集群;请尝试使用 local 卷作为替代)
  • iscsi - iSCSI (SCSI over IP) 存储
  • local - 节点上挂载的本地存储设备
  • nfs - 网络文件系统 (NFS) 存储
  • rbd - Rados 块设备 (RBD) 卷

    其他的卷插件如EBS,azureDisk,gcePersistentDisk等会在未来的版本中移除。本例中我们使用前面创建NFS类型。

    执行该yaml文件,完成PV创建,并查看其状态

[root@k8s-master yaml]# kubectl get pv
NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs-pv   1Gi        RWO            Recycle          Available           my-storage              29m

      这里我们关注下字段status为Available,表明当前的状态为可用,后面我们会讲到PV的生命周期。

2、PVC的创建

接下来我们创建PVC(名为nfs-pvc),其yaml内容如下:

[root@k8s-master yaml]# cat nfs-pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  storageClassName: my-storage
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
  selector:
    matchLabels:
      pv: nfs-pv

同样,我们也来看下核心属性参数:

1、storageClassName,卷类型,可以指定需要绑定的特定的PV卷类型,比如例子中的my-storage类型的PV,也可以设置为"",则被视为要请求的是没有设置存储类的 PV 卷。

2、accessModes,访问模式,与PV的模式类型一致。

3、resources,请求资源,对所需资源的描述,目前仅支持requests.storage

4、selector,对于PV的选择器,通过对于Label Selector的设置,可以实现对于已存在的PV筛选。

     执行该yaml文件,创建该PVC,并查看状态。

[root@k8s-master yaml]# kubectl get pvc
NAME      STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfs-pvc   Bound    nfs-pv   1Gi        RWX            my-storage     7s

      可以看到,K8S已经为该PVC找到到合适的PV(即前面创建的nfs-pv),其PVC的状态的为Bound(绑定状态)。我们再来看下PV(nfs-pv)的状态

[root@k8s-master yaml]# kubectl get pv
NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM             STORAGECLASS   REASON   AGE
nfs-pv   1Gi        RWX            Recycle          Bound    default/nfs-pvc   my-storage              16m

此时,PV也变成为Bound状态

3、使用PVC创建Pod

    最后,我们创建Pod,并使用上面创建的PVC作为卷。还以上面的场景为例,对Pod进行改造。

K8S初级入门系列之九-共享存储_第6张图片

  •  pvc-read-pod.yaml
[root@k8s-master yaml]# cat pvc-read-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pvc-read-pod
spec:
  containers:
  - image: busybox
    name: read-app
    volumeMounts:
    - mountPath: /read-app/logs
      name: shared-pvc-dir
    args:
    - /bin/sh
    - -c
    - cat /read-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-pvc-dir
    persistentVolumeClaim:
      claimName: nfs-pvc

 将volumes修改为PVC,并指定名称为刚创建的nfs-pvc。

  • pvc-read-pod.yaml
[root@k8s-master yaml]# cat pvc-read-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pvc-read-pod
spec:
  containers:
  - image: busybox
    name: read-app
    volumeMounts:
    - mountPath: /read-app/logs
      name: shared-pvc-dir
    args:
    - /bin/sh
    - -c
    - cat /read-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-pvc-dir
    persistentVolumeClaim:
      claimName: nfs-pvc

同样将volumes修改为PVC。执行yaml文件,创建Pod,并查看状态

[root@k8s-master yaml]# kubectl get pod -o wide
NAME                                     READY   STATUS              RESTARTS            AGE    IP               NODE         NOMINATED NODE   READINESS GATES
pvc-read-pod                             1/1     Running             0                   80s    10.244.36.74     k8s-node1               
pvc-write-pod                            1/1     Running             0                   89s    10.244.235.200   k8s-master              

Pod成功创建,我们查看下NFS挂载的目录(即master节点的/data/nfs/)

[root@k8s-master yaml]# cd /nfs/data/
[root@k8s-master data]# ll
total 4
-rw-r--r-- 1 root root 18 Apr 30 21:07 app.log
[root@k8s-master data]# cat app.log 
this is write-app

该目录下正确的生成了app.log文件,并写入了正确的内容。

继续进入到nfs-read-pod,读取该文件的内容。

[root@k8s-master data]# kubectl exec pvc-read-pod -c read-app cat /read-app/logs/app.log
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
this is write-app

一切正常,至此,创建的PVC已经挂载到Pod上,并正常提供了卷服务。

4、生命周期

我们先总结下前面的生命周期状态的变化:

K8S初级入门系列之九-共享存储_第7张图片

 接下来,我们删除PVC,看下PV

[root@k8s-master data]# kubectl delete pvc nfs-pvc
[root@k8s-master data]# kubectl get pv
NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs-pv   1Gi        RWX            Recycle          Available           my-storage              3h27m

在看下之前创建的文件,切换到/nfs/data目录

[root@k8s-master data]# cd /nfs/data/
[root@k8s-master data]# ll
total 0

      由于我们配置PV的persistentVolumeReclaimPolicy: Recycle(回收空间),所以PVC删除后,文件被删除,空间回收,PV重新变为了Available状态,可以再次被利用。补充以上的状态机图

K8S初级入门系列之九-共享存储_第8张图片

 四、StorageClass

      通过PV和PVC,完美地解耦了运维管理员和开发人员的工作,但是也带来了新的问题,一个K8S集群中,有成千上万的PV,运维人员需要手动创建出来,而且在业务的迭代过程中,需要根据不断提交的PVC来实现PV,否则就可能PVC无法绑定PV,导致创建失败。那有没有方式,能根据PVC的申请来自动创建PV呢?这样就可以进一步解放运维管理员的生产力,投入到更有意义的工作中。

      答案就是StorageClass对象,它可以指定一个可以自动配置存储的插件,我们叫它制备器(Provisioner),根据PVC的资源需求,自动创建一个符合条件的PV,分配实际存储资源,并进行PVC绑定。

    运维管理员仅配置StorageClass,其他的过程都是K8S配合制备器自动完成。上面的协同模型就可以修改为以下:

K8S初级入门系列之九-共享存储_第9张图片

      这种方式创建存储卷相比手动创建,我们称之为"动态存储卷"。我们看下StorageClass的核心参数。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp2
  • provisioner,制备器,可以看做是每种卷插件的后端存储驱动。比如EBS的制备器可以制备EBS类型的卷。K8S为常用的卷插件提供内置的provisioner,比如EBS,AzureFile,GCEPersistentDisk,Glusterfs等,一般是以"kubernetes.io"开头,当然用户也可以按照规范自定义三方的制备器。
  • parameters,参数,provisioner的参数,不同的provisioner,参数也不同。

下面就以NFS为例,实现StorageClass的创建和使用过程。

1、创建NFS的StorageClass

       由于NFS没有内置的 Provisioner 对象,需要使用开源的,其以Pod的方式运行,GitHub的地址为:GitHub - kubernetes-sigs/nfs-subdir-external-provisioner: Dynamic sub-dir volume provisioner on a remote NFS server.

      下载deploy目录下的rbac.yaml,class.yaml,deploy.yaml,修改一些内容,使其与我们的NFS环境保持一致。修改后重新命名为 storage-nfs-rbac.yaml,storage-nfs-class.yaml,storage-nfs-deploy.yaml,其内容参见文章后面的附录,执行以上三个yaml文件,完成StorageClass的创建,名称为nfs-client。

kubectl apply -f storage-nfs-rbac.yaml
kubectl apply -f storage-nfs-class.yaml
kubectl apply -f storage-nfs-deployment.yaml

2、创建指定StorageClass的PVC

   接下来我们创建PVC,并指定StorageClass(nfs-client),其yaml内容如下

[root@k8s-master yaml]# cat nfs-storage-pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-storage-pvc
spec:
  # 这里使用刚创建的storage name
  storageClassName: nfs-client
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi

    执行该文件,创建PVC,查看状态:

[root@k8s-master yaml]# kubectl apply -f nfs-storage-pvc.yaml 
persistentvolumeclaim/nfs-storage-pvc created
[root@k8s-master yaml]# kubectl get pvc
NAME              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfs-storage-pvc   Bound    pvc-f795e09b-1583-436b-869b-88a68d28ce64   1Gi        RWX            nfs-client     5s

   可以看到已经创建完成,并处于Bound状态,这就说明已经有PV绑定了。在查看下PV的状态

[root@k8s-master yaml]# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                     STORAGECLASS   REASON   AGE
pvc-f795e09b-1583-436b-869b-88a68d28ce64   1Gi        RWX            Delete           Bound       default/nfs-storage-pvc   nfs-client              10s

果然,NFS的provisioner已经自动创建PV,并完成了绑定。

3、创建使用PVC的Pod

接下来,使用之前的Pod用例来验证下写入功能,我们修改下yaml内容

[root@k8s-master yaml]# cat storageclass-write-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: storageclass-write-pod
spec:
  tolerations:
   - key: "node-role.kubernetes.io/master"
     operator: "Exists"
     effect: "NoSchedule"
  containers:
  - image: busybox
    name: write-app
    volumeMounts:
    - mountPath: /write-app/logs
      name: shared-storageclass-dir
    args:
    - /bin/sh
    - -c
    - echo this is  write-app >> /write-app/logs/app.log; sleep 60000
  volumes:
  - name: shared-storageclass-dir
    persistentVolumeClaim:
      claimName: nfs-storage-pvc

      将PVC的claimName修改为本次的PVC,名称nfs-storage-pvc,执行该文件,创建Pod成功后,我们是否写入到NFS的挂载目录

[root@k8s-master yaml]# cd /nfs/data
[root@k8s-master data]# ll
total 4
drwxrwxrwx 2 root root 4096 May  1 22:36 default-nfs-storage-pvc-pvc-f795e09b-1583-436b-869b-88a68d28ce64
[root@k8s-master data]# cd default-nfs-storage-pvc-pvc-f795e09b-1583-436b-869b-88a68d28ce64/
[root@k8s-master default-nfs-storage-pvc-pvc-f795e09b-1583-436b-869b-88a68d28ce64]# ll
total 4
-rw-r--r-- 1 root root 18 May  1 22:36 app.log
[root@k8s-master default-nfs-storage-pvc-pvc-f795e09b-1583-436b-869b-88a68d28ce64]# cat app.log 
this is write-app

    可以看到在/nfs/data下,K8S自动创建一个PVC名称加上随机数的文件夹,Pod写入的日志文件app.log位于该目录下。 

五、总结  

本章节我们介绍了K8S的共享存储。

1、同一Pod的容器间共享存储,可以使用EmptyDir。

2、同一节点的Pod的共享存储,可以使用HostPath。

3、不同节点间Pod的共享存储,可以使用云计算厂商提供的特定存储,也可以使用标准的网络文件存储,这里重点介绍了NFS。

4、为了解耦开发和运维人员的工作,K8S设计了PV和PVC,运维人员根据资源总量,申明式创建大量的PV,预先分配,开发人员提交PVC申请,K8S根据申请的资源,自动找到合适的PV,并进行绑定和实际资源分配。

5、为了进一步解放运维的工作,K8S设计了StorageClass对象,实现了动态创建存储卷。根据开发人员提供的PVC需求,K8S配合制备器可以自动完成PV的创建和绑定,从而省去预先创建PV的工作。

 附:

K8S初级入门系列之一-概述

K8S初级入门系列之二-集群搭建

K8S初级入门系列之三-Pod的基本概念和操作

K8S初级入门系列之四-Namespace/ConfigMap/Secret

K8S初级入门系列之五-Pod的高级特性

K8S初级入门系列之六-控制器(RC/RS/Deployment)

K8S初级入门系列之七-控制器(Job/CronJob/Daemonset)

K8S初级入门系列之八-网络

K8S初级入门系列之九-共享存储

K8S初级入门系列之十-控制器(StatefulSet)

K8S初级入门系列之十一-安全

K8S初级入门系列之十二-计算资源管理

附件

  • storage-nfs-rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io
  • storage-nfs-class.yaml 
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
# 这是为provisioner名称,需要与deploy的env的PROVISIONER_NAME保持一致
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
  archiveOnDelete: "false"
  • storage-nfs-deploy.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
      
        - name: nfs-client-provisioner
          # 修改如下镜像地址
          image: chronolaw/nfs-subdir-external-provisioner:v4.0.2
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            # 这是为provisioner名称,需要与StorageClass的PROVISIONER_NAME保持一致
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
            # 修改此处的ip为nfs server ip
              value: 192.168.16.4
            - name: NFS_PATH
            # 修改此处的path为nfs 挂载的目录 ip
              value: /nfs/data
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.16.4
            path: /nfs/data

你可能感兴趣的:(K8S,kubernetes,存储,PV,PVC,StorageClass)