k8s 存储(PV、PVC、SC、本地存储、NFS)

存储持久化相关三个概念:

1. PersistentVolume (PV)
   是对具体存储资源的描述，比如NFS、Ceph、GlusterFS等，通过PV可以访问到具体的存储资源;
2. PersistentVolumeClaim (PVC)
   Pod想要使用具体的存储资源需要对接到PVC，PVC里会定义好Pod希望使用存储的属性，通过PVC再去申请合适的存储资源(PV)，匹配到合适的资源后PVC和PV会进行绑定，它们两者是一一对应的;
3. StorageClass (SC)
   PV可以手动创建，也可以自动创建，当PV需求量非常大时，如果靠手动创建PV就非常麻烦了，SC可以实现自动创建PV，并且会将PVC和PV绑定。

SC会定义两部分内容:

• pv的属性，比如存储类型、大小;
• 创建该PV需要用到的存储插件(provisioner)，这个provisioner是实现自动创建PV的关键。

API资源对象PV和PVC

1. PV YAML示例：
   vi testpv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: testpv


spec:
  storageClassName: test-storage
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 500Mi  ##提供500Mi空间
  hostPath:
    path: /tmp/testpv/

说明：
storageClassName: 定义存储类名称，PV和PVC中都会有该字段，目的是为了方便两者匹配绑定在一起。
accessModes定义该pv的访问权限模式，有三种：

• ReadWriteOnce：存储卷可读可写，但只能被一个节点上的 Pod 挂载;
• ReadOnlyMany：存储卷只读不可写，可以被任意节点上的 Pod 多次挂载;
• ReadWriteMany：存储卷可读可写，也可以被任意节点上的 Pod 多次挂载;
  capacity 定义该存储大小。
  hostPath 定义该存储访问路径，这里指的是本地的磁盘。

2. PVC YAML示例：
   vi testpvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: testpvc


spec:
  storageClassName: test-storage
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Mi  ##期望申请100Mi空间

应用pv和pvc的YAML

kubectl apply -f testpv.yaml -f testpvc.yaml

查看状态

kubectl get pv,pvc

查看状态是否Bound，如果不是，详细查看：

kubectl describe puv testpvc

实验:
将testpvc的期望100Mi改为1000Mi，查看PV的STATUS

3. PV和PVC匹配规则
   PV创建好后，会等待PVC与其进行绑定，PVC一旦找到合适的PV就会绑定。如果有多个PV时，PVC又是如何匹配PV的呢?它有如下一些规则:

• 访问模式和存储类匹配:Kubernetes会筛选出访问模式(accessModes)和存储类(storageClassName)与PVC相匹配的PV。如果没有匹配的PV，PVC将保持未绑定状态。
• 资源大小:在满足访问模式和存储类匹配的PV中，Kubernetes会选择资源大小大于或等于PVC请求大小的PV。
• 最佳匹配:在满足访问模式、存储类和资源大小的PV中，Kubernetes会选择资源大小最接近PVC请求大小的PV。如果有多个PV具有相同的资源大小，Kubernetes会选择其中一个进行绑定。
• 避免重复绑定:一个PV在任何时候只能被一个PVC绑定。一旦PV被绑定到一个PVC，它将不再可用于其他PVC。

API资源对象StorageClass

SC的主要作用在于，自动创建PV，从而实现PVC按需自动绑定PV。
下面我们通过创建一个基于NFS的SC来演示SC的作用。
要想使用NFS的SC，还需要安装一个NFS provisioner，provisioner里会定义NFS相关的信息（服务器IP、共享目录等）
github地址： https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

将源码下载下来：

git clone https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

cd nfs-subdir-external-provisioner/deploy
sed -i 's/namespace: default/namespace: kube-system/' rbac.yaml  ##修改命名空间为kube-system
kubectl apply -f rbac.yaml  ##创建rbac授权

修改deployment.yaml

sed -i 's/namespace: default/namespace: kube-system/' deployment.yaml ##修改命名空间为kube-system

  ##你需要修改image、nfs_server、nfs_path、server共4处
   spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: chronolaw/nfs-subdir-external-provisioner:v4.0.2  ##改为dockerhub地址
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 192.168.222.99  ##nfs服务器地址
            - name: NFS_PATH
              value: /data/nfs  ##nfs共享目录
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.222.99  ##nfs服务器地址
            path: /data/nfs  ##nfs共享目录

应用yaml

kubectl apply -f deployment.yaml
kubectl apply -f class.yaml ##创建storageclass

SC YAML示例
cat class.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner # or choose another name, must match deployment's env PROVISIONER_NAME'
parameters:
  archiveOnDelete: "false"  ##自动回收存储空间

有了SC，还需要一个PVC
vi nfsPvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfspvc

spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteMany

  resources:
    requests:
      storage: 500Mi

下面创建一个Pod，来使用PVC
vi nfsPod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: nfspod
spec:
  containers:
  - name: nfspod
    image: nginx:1.23.2
    volumeMounts:
    - name: nfspv
      mountPath: "/usr/share/nginx/html"
  volumes:
  - name: nfspv
    persistentVolumeClaim:
      claimName: nfspvc

配置完成，测试：

kubectl get po -w wide #查看po的ip
curl 10.187.168.151/test.html

总结:
pod想使用共享存储–>PVC(定义具体需求属性)–>SC(定义Provisionler)–> Provisioner(定义具体的访问存储方法)–> NFS-server
SC是自动创建PV

本地存储

之前PV YAML示例就是本地存储。本地存储类型的PV是Kubernetes中一种比较特殊的持久化存储，它允许将节点上的本地磁盘或目录用作PV。与其他PV类型(例如NFS、Ceph或云存储)不同，本地存储类型的PV直接使用节点上的存储资源，因此具有更低的延迟和更高的性能。

使用本地存储类型的PV时，需注意以下几个关键点：

• 节点特性：本地存储类型的PV与特定的节点绑定，因为它直接使用节点上的存储资源。这意味着当创建PV时，需要指定与之关联的节点。可以在PV的spec部分设置nodeAffinity来实现的。

nodeAffinity:  ##定义节点亲和性
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - node-name

• 数据持久性：由于本地存储类型的PV与特定节点关联，当该节点发生故障时，存储在PV中的数据可能无法访问。因此，在使用本地存储类型的PV时，请确保采取适当的数据备份策略，以防止节点故障导致的数据丢失。
• 调度限制：Pod使用本地存储类型的Persistent Volume Claim（PVC）时，Kubernetes会尝试将Pod调度到关联PV的节点上。如果节点上的资源不足以运行Pod，Pod将无法启动。因此，在使用本地存储类型的PV时，请确保关联的节点有足够的资源来运行Pod。
• 回收策略：当PVC被删除时，PV的回收策略将决定如何处理关联的本地存储。对于本地存储类型的PV，建议使用Retain或Delete回收策略。Retain策略表示保留存储和数据，以便手动清理和管理；Delete策略表示删除存储和数据。需要注意的是，Recycle策略并不适用于本地存储类型的PV。

persistentVolumeReclaimPolicy: Retain

完整示例：
首先，确保在每个要使用本地存储的节点上创建一个本地目录。例如，在节点上创建/mnt/local-storage目录:

mkdir -p /mnt/local-storage

然后，创建一个PV资源配置文件，例如local-pv.yaml：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: local-pv
  labels:
    type: local
spec:
  storageClassName: local-storage
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  local:
    path: /mnt/local-storage
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname  #这是内置的节点标签，表示节点的主机名
          operator: In
          values:
          - rocky9-2  #只有rocky9-2这个主机节点才满足要求

应用PV资源配置文件:

kubectl apply -f local-pv.yaml

再创建一个PVC资源配置文件，例如local-pvc.yaml：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: local-pvc
spec:
  storageClassName: local-storage
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi

应用PVC资源配置文件:

kubectl apply -f local-pvc.yaml

最后，创建一个Pod资源配置文件，例如local-pod.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: local-pod
spec:
  containers:
  - name: local-container
    image: nginx:1.21.0
    volumeMounts:
    - name: local-storage
      mountPath: /data
  volumes:
  - name: local-storage
    persistentVolumeClaim:
      claimName: local-pvc

应用pod资源配置文件:

kubectl apply -f local-pod.yaml
kubectl get pod
kubectl get pod -o wide
kubectl describe po local-pod    #注意之前实验中的污点设置
kubectl exec -it local-pod -- bash

NFS存储

注意:在做本章节示例时，需要拿单独一台机器来部署NFS，具体步骤略。

[root@localhost ~]# cat /etc/exports
/data/nfs 192.168.56.0/24(rw,sync,no_root_squash)
/data/nfs2 192.168.56.0/24(rw,sync,no_root_squash)

NFS作为常用的网络文件系统，在多机之间共享文件的场景下用途广泛，毕竟NFS配置方便，而且稳定可靠。
NFS同样也有一些缺点:

• 存在单点故障的风险;
• 不方便扩容;
• 性能一般。
  NFS比较适合一些简单的、对存储要求不高的场景，比如测试环境、开发环境。

完整示例:
首先部署好NFS服务，并且保证所有Kubernetes节点可以顺利挂载(showmount -e 192.168.56.124)。如果没有客户端，安装：yum install -y nfs-utils。

定义基于NFS的PV
vi nfs-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs-storage
  nfs:
    path: /data/nfs2
    server: 192.168.56.124

应用

kubectl apply -f nfs-pv.yaml

定义PVC
vi nfs-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  storageClassName: nfs-storage
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi

应用

kubectl apply -f nfs-pvc.yaml

定义Pod
vi nfs-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: nfs-pod
spec:
  containers:
  - name: nfs-container
    image: nginx:1.21.0
    volumeMounts:
    - name: nfs-storage
      mountPath: /data
  volumes:
  - name: nfs-storage
    persistentVolumeClaim:
      claimName: nfs-pvc

应用

kubectl apply -f nfs-pod.yaml
kubectl get po -o wide

kubectl exec -it nfs-pod -- bash  #创建文件做测试