> 欢迎关注我的个人博客,关注最新动态: http://www.mydlq.club
系统环境:
Kubernetes 官方文档地址:
在 Kubernetes 中,存储资源和计算资源(CPU、Memory)同样重要,Kubernetes 为了能让管理员方便管理集群中的存储资源,同时也为了让使用者使用存储更加方便,所以屏蔽了底层存储的实现细节,将存储抽象出两个 API 资源 PersistentVolume
和 PersistentVolumeClaim
对象来对存储进行管理。
PersistentVolume(持久化卷): PersistentVolume
简称 PV
, 是对底层共享存储的一种抽象,将共享存储定义为一种资源,它属于集群级别资源,不属于任何 Namespace
,用户使用 PV 需要通过 PVC 申请。PV 是由管理员进行创建和配置,它和具体的底层的共享存储技术的实现方式有关,比如说 Ceph、GlusterFS、NFS 等,都是通过插件机制完成与共享存储的对接,且根据不同的存储 PV 可配置参数也是不相同。
PersistentVolumeClaim(持久化卷声明): PersistentVolumeClaim
简称 PVC
,是用户存储的一种声明,类似于对存储资源的申请,它属于一个 Namespace
中的资源,可用于向 PV
申请存储资源。PVC
和 Pod
比较类似,Pod
消耗的是 Node
节点资源,而 PVC
消耗的是 PV
存储资源,Pod
可以请求 CPU 和 Memory,而 PVC
可以请求特定的存储空间和访问模式。
上面两种资源 PV
和 PVC
的存在很好的解决了存储管理的问题,不过这些存储每次都需要管理员手动创建和管理,如果一个集群中有很多应用,并且每个应用都要挂载很多存储,那么就需要创建很多 PV
和 PVC
与应用关联。为了解决这个问题 Kubernetes 在 1.4 版本中引入了 StorageClass
对象。
当我们创建 PVC
时指定对应的 StorageClass
就能和 StorageClass
关联,StorageClass
会交由与他关联 Provisioner 存储插件来创建与管理存储,它能帮你创建对应的 PV
和在远程存储上创建对应的文件夹,并且还能根据设定的参数,删除与保留数据。所以管理员只要在 StorageClass
中配置好对应的参数就能方便的管理集群中的存储资源。
PersistentVolume 类型实现为插件,目前 Kubernetes 支持以下插件:
PV 生命周期总共四个阶段:
Kubernetes 支持多种存储,这里使用最广泛的 NFS 存储为例来介绍,下面是一个 PV 的例子:
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv1
label:
app: example
spec:
capacity:
storage: 5Gi
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Recycle
storageClassName: slow
mountOptions:
- hard
- nfsvers=4.1
nfs:
path: /nfs/space
server: 192.168.2.11
(1)、存储能力 (capacity)
PV 可以通过配置 capacity
中的 storage
参数,对 PV 挂多大存储空间进行设置
目前 capacity 只有一个设置存储大小的选项,未来可能会增加。
capacity:
storage: 5Gi
(2)、存储卷模式(volumeMode)
PV 可以通过配置 volumeMode
参数,对存储卷类型进行设置,可选项包括:
目前 Block 模式只有 AWSElasticBlockStore、AzureDisk、FC、GCEPersistentDisk、iSCSI、LocalVolume、RBD、VsphereVolume 等支持)。
volumeMode: Filesystem
(3)、访问模式(accessModes)
PV 可以通过配置 accessModes
参数,设置访问模式来限制应用对资源的访问权限,有以下机制访问模式:
accessModes:
- ReadWriteOnce
不过不同的存储所支持的访问模式也不相同,具体如下:
Volume Plugin | ReadWriteOnce | ReadOnlyMany | ReadWriteMany |
---|---|---|---|
AWSElasticBlockStore | √ | - | - |
AzureFile | √ | √ | √ |
AzureDisk | √ | - | - |
CephFS | √ | √ | √ |
Cinder | √ | - | - |
FC | √ | √ | - |
FlexVolume | √ | √ | - |
Flocker | √ | - | - |
GCEPersistentDisk | √ | √ | - |
GlusteFS | √ | √ | √ |
HostPath | √ | - | - |
iSCSI | √ | √ | - |
PhotonPersistentDisk | √ | - | - |
Quobyte | √ | √ | √ |
NFS | √ | √ | √ |
RBD | √ | √ | - |
VsphereVolume | √ | - | - |
PortworxVolume | √ | - | √ |
ScaleIO | √ | √ | - |
StorageOS | √ | - | - |
(4)、挂载参数(mountOptions)
PV 可以根据不同的存储卷类型,设置不同的挂载参数,每种类型的存储卷可配置参数都不相同。如 NFS 存储,可以设置 NFS 挂载配置,如下:
下面例子只是 NFS 支持的部分参数,其它参数请自行查找 NFS 挂载参数。
mountOptions:
- hard
- nfsvers=4.1
(5)、存储类 (storageClassName)
PV 可以通过配置 storageClassName
参数指定一个存储类 StorageClass
资源,具有特定 StorageClass
的 PV
只能与指定相同 StorageClass
的 PVC
进行绑定,没有设置 StorageClass
的 PV
也是同样只能与没有指定 StorageClass
的 PVC
绑定。
storageClassName: slow
(6)、回收策略(persistentVolumeReclaimPolicy)
PV 可以通过配置 persistentVolumeReclaimPolicy
参数设置回收策略,可选项如下:
rm -rf /thevolume/*
命令,目前只有 NFS 和 HostPath 支持。persistentVolumeReclaimPolicy: Recycle
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc1
spec:
accessModes:
- ReadWriteOnce
volumeMode: Filesystem
resources:
requests:
storage: 8Gi
storageClassName: slow
selector:
matchLabels:
release: "stable"
matchExpressions:
- key: environment
operator: In
values: dev
(1)、筛选器(selector)
PVC 可以通过在 Selecter
中设置 Laberl
标签,筛选出带有指定 Label
的 PV
进行绑定。Selecter
中可以指定 matchLabels
或 matchExpressions
,如果两个字段都设定了就需要同时满足才能匹配。
selector:
matchLabels:
release: "stable"
matchExpressions:
- key: environment
operator: In
values: dev
(2)、资源请求(resources)
PVC 设置目前只有 requests.storage
一个参数,用于指定申请存储空间的大小。
resources:
requests:
storage: 8Gi
(3)、存储类(storageClass)
PVC 要想绑定带有特定 StorageClass
的 PV
时,也必须设定 storageClassName
参数,且名称也必须要和 PV
中的 storageClassName
保持一致。如果要绑定的 PV
没有设置 storageClassName
则 PVC
中也不需要设置。
当 PVC 中如果未指定 storageClassName
参数或者指定为空值,则还需要考虑 Kubernetes
中是否设置了默认的 StorageClass
:
如果设置 storageClassName=““,则表示该 PVC 不指定 StorageClass。
storageClassName: slow
(4)、访问模式(accessModes)
PVC 中可设置的访问模式与 PV 种一样,用于限制应用对资源的访问权限。
(5)、存储卷模式(volumeMode)
PVC 中可设置的存储卷模式与 PV 种一样,分为 Filesystem
和 Block
两种。
这里使用 NFS 存储,创建 StorageClass 示例:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
annotations:
storageclass.kubernetes.io/is-default-class: "true" #设置为默认的 StorageClass
provisioner: nfs-client
mountOptions:
- hard
- nfsvers=4
parameters:
archiveOnDelete: "true"
(1)、提供者(provisioner)
在创建 StorageClass
之前需要 Kubernetes
集群中存在 Provisioner
(存储分配提供者)应用,如 NFS 存储需要有 NFS-Provisioner
(NFS 存储分配提供者)应用,如果集群中没有该应用,那么创建的 StorageClass
只能作为标记,而不能提供创建 PV
的作用。
NFS 的存储 NFS Provisioner 可以参考:创建 NFS-Provisioner 博文
provisioner: nfs-client
(2)、参数(parameters)
后端存储提供的参数,不同的 Provisioner 可与配置的参数也是不相同。例如 NFS Provisioner 可与提供如下参数:
parameters:
archiveOnDelete: "true" #删除 PV 后是否保留数据
(3)、挂载参数(mountOptions)
在 StorageClass
中,可以根据不同的存储来指定不同的挂载参数,此参数会与 StorageClass
绑定的 Provisioner
创建 PV
时,将此挂载参数与创建的 PV
关联。
mountOptions:
- hard
- nfsvers=4
(4)、设置默认的 StorageClass
可与在 Kubernetes 集群中设置一个默认的 StorageClass,这样当创建 PVC 时如果未指定 StorageClass 则会使用默认的 StorageClass。
metadata:
annotations:
storageclass.kubernetes.io/is-default-class: "true"
PV 是 Kubernetes 集群的存储资源,而 PVC 则是对存储资源的需求,创建 PVC 需要对 PV 发起使用申请,即和 PV 进行绑定。 PV 和 PVC 是一一对应的关系,它们二者的交互遵循如下生命周期:
存储供给(Provisioning)是指为 PVC 准备可用的 PV 的一种机制。Kubernetes 支持 PV 供给方式有 静态供给
和 动态供给
两种:
在静态模式下,在用户定义好 PVC 后,Kubernetes 将根据 PVC 提出的“申请空间的大小”、“访问模式”从集群中寻找已经存在且满足条件的 PV 进行绑定,如果集群中没有匹配的 PV 则 PVC 将处于 Pending 等待状态,知道系统创建了符合条件的 PV 再与其绑定。PV 与 PVC 绑定后就不能和别的 PVC 进行绑定。
在动态模式下,当创建 PVC 并且指定 StorageClass 后,与 StorageClass 关联的存储插件会自动创建对应的 PV 与该 PVC 进行绑定。
完成存储卷的使用目标之后删除 PVC 对象,以便进行资源回收。不过,至于如何操作则取决于 PV 的回收策略 ,目前有三种策略:
Released
状态,不过处于 Released
状态的 PV **不能被其他 PVC 申请所绑定,因为之前 PVC 绑定的应用数据仍然存在,需要由管理员手动清理数据,然后决定如何处理 PV 的使用。Available
可用状态。不过此策略需要后端存储插件的支持。一般 Deployment
中使用 PVC,大部分都是静态供给方式创建,即先创建 PV,再创建 PVC 与 PV 绑定,在设置应用于 PVC 关联。
下面是一个 NFS 存储创建 PV 的例子,如下:
apiVersion: v1
kind: PersistentVolume
metadata:
name: nginx-pv
labels:
app: nginx-pv
spec:
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Delete
capacity:
storage: 1Gi
mountOptions:
- hard
- nfsvers=4.1
nfs:
server: 192.168.2.11
path: /nfs/data/nginx
创建 PVC 与 PV 进行关联绑定:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: nginx-pvc
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
selector:
matchLabels:
app: nginx-pv
创建应用于 PVC 进行关联:
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx
labels:
app: nginx
spec:
replicas: 1
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
terminationGracePeriodSeconds: 1
containers:
- name: nginx
image: nginx:latest
ports:
- name: server
containerPort: 80
volumeMounts:
- name: data
mountPath: /data
volumes:
- name: data
persistentVolumeClaim:
claimName: nginx-pvc
在有状态的应用中,我们经常使用动态供给方式创建 PV 和 PVC,不过提前需要集群拥有:
只有拥有上面两种资源同时存在时才能使用动态存储,本人这里使用的是 NFS
存储,关于如何创建 NFS Provisioner 可以查看 NFS Provisioner 一文,假如 Kubernetes 集群中使用 NFS 存储,且存在 Provisioner
的名称为 nfs-client
那就可以下面创建 StorageClass
示例:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: nfs-client
parameters:
archiveOnDelete: "true"
mountOptions:
- hard
- nfsvers=4
然后 StatefulSet 可以按下方式,在 volumeClaimTemplates
参数中指定使用的 StorageClass
,然后与 StorageClass
关联的 NFS Provisioner
会执行创建 PVC 和 PV,然后两者进行绑定,下面是 StatefulSet
方式使用 volumeClaimTemplates
挂载存储的示例:
apiVersion: v1
kind: Service
metadata:
name: nginx
labels:
app: nginx
spec:
ports:
- port: 80
name: web
clusterIP: None
selector:
app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web
spec:
selector:
matchLabels:
app: nginx
serviceName: "nginx"
replicas: 3
template:
metadata:
labels:
app: nginx
spec:
terminationGracePeriodSeconds: 1
containers:
- name: nginx
image: nginx:latest
ports:
- containerPort: 80
name: web
volumeMounts:
- name: data
mountPath: /data
volumeClaimTemplates:
- metadata:
name: data
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: "nfs-storage"
resources:
requests:
storage: 1Gi
—END—