Ceph
1、Ceph
Ceph是一个可靠地，自动均衡，自动回复的分布式存储系统，根据使用场景可以划分为对象存储，块存储和文件系统服务。Ceph存储集群至少需要一个Ceph Monitor 和两个OSD 守护进程。而运行Ceph文件系统客户端时，则必须要有元数据服务（MDS Metadata Server）。
2、ceph的核心组件
- Ceph OSDs 守护进程
# 基本功能
存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD守护进程的心跳向Ceph Monitors 提供一些监控信息。
当Ceph存储集群设定为2个副本时，至少需要2个OSD守护进程，集群才能达到active+clean状态（Ceph默认与3个副本）
- Ceph Monitor
Ceph Monitors 维护着展示集群状态的各种图表，包括监控图、OSD图、归属组（PG）图和CRUSH图。Ceph保存着发生在
Monitors、OSD和PG上的每一次状态变成的历史信息（称为epoch）
- MDSs
Ceph元数据服务器为Ceph文件系统存储元数据（Ceph块设备和Ceph对象存储不适用MDS）。元数据服务器使得POSIX文件系统的
用户可以在不对Ceph存储集群造成负担的前提下，执行ls,find等基本命令。
- 客户端
Ceph 把客户端数据保存为存储池内的对象。通过使用 CRUSH 算法， Ceph 可以计算出哪个归置组（PG）应该持有指定的
对象(Object)，然后进一步计算出哪个 OSD 守护进程持有该归置组。 CRUSH 算法使得 Ceph 存储集群能够动态地伸缩、
再均衡和修复
3、Ceph使用
- Ceph 基础命令
* 查看Ceph集群：ceph osd tree
详细配置信息：ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show
* 清除磁盘上的逻辑卷：/usr/sbin/ceph-volume lvm zap --destroy /dev/vdc
* 查看ceph授权信息：ceph auth get client.admin
* 在部署节点修改了ceph.conf文件，将新配置推送至全部的ceph节点：ceph-deploy --overwrite-conf config push dlp node1 node2 node3
* 检查仲裁状态，查看mon添加是否成功：ceph quorum_status --format json-pretty
Ceph pool操作
* 列式pool列表：ceph osd lspools
* 列示pool详细信息：ceph osd dump |grep pool
* 检查pool的副本数：ceph osd dump |grep -i size
* 创建pool：ceph osd pool create pooltest 128
若少于5个OSD， 设置pg_num为128。
5~10个OSD，设置pg_num为512。
10~50个OSD，设置pg_num为4096
* 删除pool：ceph osd pool delete data data --yes-i-really-really-mean-it
* 设置pool副本：ceph osd pool get data size ceph osd pool set data size 3
* 设置pool配额：ceph osd pool set-quota data max_objects 100#最大100个对象
ceph osd pool set-quota data max_bytes $((10 * 1024 * 1024 * 1024)) #容量大小最大为10G
* 重命名pool：ceph osd pool rename data date
* 获取现有的PG数和PGP数：ceph osd pool get data pg_num
ceph osd pool get data pgp_num
* 修改存储池的PG和PGP： ceph osd pool set data pg_num = 1
ceph osd pool set data pgp_num = 1
- rdb命令
* 创建块设备映像：rbd create --size {megabytes} {pool-name}/{image-name}
* 罗列块设备映像：rbd ls {poolname}
* 检索映像信息：rbd info {pool-name}/{image-name}
* 调整块设备映像大小：rbd resize --size 2048 foo (to increase)
rbd resize --size 2048 foo --allow-shrink (to decrease)
* 删除块设备映像：rbd rm {pool-name}/{image-name}
* 映射块设备：sudo rbd map {pool-name}/{image-name} --id {user-name}
* 查看已映射块设备：rbd showmapped
* 取消块设备映射：rbd unmap /dev/rbd/{poolname}/{imagename}
* 使用Ceph块设备：
- 创建image挂载一个文件系统：sudo mkfs.xfs /dev/rbd0
sudo mkdir /mnt/ceph-disk0
sudo mount /dev/rbd0 /mnt/ceph-disk0
- 通过将数据写入块设备进行检查：sudo dd if=/dev/zero of=/mnt/ceph-disk0/file0 count=100 bs=1M
sudo ls /mnt/ceph-disk0/file0 -lh
df -h /mnt/ceph-disk0
- 添加块设备映像大小后，扩展文件系统空间：
- k8s 如何使用Ceph 作为后端存储:
# 利用Ceph storageclass + PVC建立后端存储 动态PV
#https://blog.csdn.net/weixin_33757911/article/details/91820211
一、工作准备
1、在Ceph集群上创建pool：shell# ceph osd pool create mysql-master-data 128
2、在k8s集群上安装客户端:ceph创建了一个默认的用户client.admin，它有足够的权限去访问ceph集群。测试环境中直接使用了Ceph的admin账号，当然生产环境中还是要根据不同功能客户端分配不同的账号
shll# ceph auth get-or-create client.mysql mon 'allow r' osd 'allow rwx pool=mysql' -o ceph.client.mysql.keyring #创建用户
获取账号秘钥：shell# ceph auth get-key client.admin | base64
3、为controller-manager提供rdb命令
使用StorageClass动态创建PV时，controller-manager会自动在Ceph上创建image，所以我们要为其准备好rbd命令
（1）如果集群是用kubeadm部署的，由于controller-manager官方镜像中没有rbd命令，所以我们要导入外部配置：
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: rbd-provisioner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
- apiGroups: [""]
resources: ["services"]
resourceNames: ["kube-dns","coredns"]
verbs: ["list", "get"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: rbd-provisioner
subjects:
- kind: ServiceAccount
name: rbd-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: rbd-provisioner
apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: rbd-provisioner
rules:
- apiGroups: [""]
resources: ["secrets"]
verbs: ["get"]
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: rbd-provisioner
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: rbd-provisioner
subjects:
- kind: ServiceAccount
name: rbd-provisioner
namespace: default
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: rbd-provisioner
spec:
replicas: 1
strategy:
type: Recreate
template:
metadata:
labels:
app: rbd-provisioner
spec:
containers:
- name: rbd-provisioner
image: quay.io/external_storage/rbd-provisioner:latest
env:
- name: PROVISIONER_NAME
value: ceph.com/rbd
serviceAccount: rbd-provisioner
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: rbd-provisioner
kubectl apply -f rbd-provisioner.yaml rbd-provisioner的镜像要和ceph的版本适配，这里镜像使用最新的，根据官方提示已支持ceph mimic版。
（2） 如果集群是用二进制方式部署的，直接在master节点安装ceph-common即可。
YUM源：
[Ceph]
name=Ceph packages for $basearch
baseurl=http://download.ceph.com/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-mimic/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-mimic/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
shell# yum clean all
shell# yum makecache
shell# yum -y install ceph-common-13.2.7
将Ceph的ceph.client.admin.keyring文件拷贝到master的/etc/ceph目录下
4、为kubelet提供rdb命令
创建pod时，kubelet需要使用rbd命令去检测和挂载pv对应的ceph image，所以要在所有的worker节点安装ceph客户端ceph-common-13.2.7。
三、使用利用storageclass 使用Ceph
1、创建存储类
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: ceph-sc
namespace: default
annotations:
storageclass.kubernetes.io/is-default-class: "false"
provisioner: ceph.com/rbd
reclaimPolicy: Retain
parameters:
monitors: 172.16.0.122:6789,172.16.0.123:6789,172.16.0.124:6789 #Ceph集群
adminId: admin
adminSecretName: storage-secret
adminSecretNamespace: default
pool: k8s
fsType: xfs
userId: admin
userSecretName: storage-secret
imageFormat: "2"
imageFeatures: "layering"
shell# kuectl apply -f storage_class.yaml
2、为存储提供secret
apiVersion: v1
kind: Secret
metadata:
name: storage-secret
namespace: default
data:
key: QVFDMmIrWmNEL3JTS2hBQWwwdmR3eGJGMmVYNUM3SjdDUGZZbkE9PQ== #此key 为在步骤二中获取的账号秘钥
type:
kubernetes.io/rbd
shell# kubectl apply -f storage_secret.yaml
3、创建pvc
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: ceph-pvc
namespace: default
spec:
storageClassName: ceph-sc
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
shell# kubectl apply -f storage_pvc.yaml
创建完PVC，pv会自动创建，正常情况pvc将处于Bound状态
四、调用pvc
1、pod
apiVersion: v1
kind: Pod
metadata:
name: ceph-pod1
spec:
nodeName: k8s-node02
containers:
- name: nginx
image: nginx:1.14
volumeMounts:
- name: ceph-rdb-vol1
mountPath: /usr/share/nginx/html
readOnly: false
volumes:
- name: ceph-rdb-vol1
persistentVolumeClaim: #指定pvc名称
claimName: ceph-pvc
shell# kubectl apply -f storage_pod.yaml
2、StatefulSet 使用StatefulSet 不需要自己创建pv,pvc。statefulSet使用volumeClaimTemplate，称为卷申请模板，它会为每个Pod生成不同的pvc，并绑定pv， 从而实现各pod有专用存储。如果集群中没有StorageClass的动态供应PVC的机制，也可以提前手动创建多个PV、PVC，手动创建的PVC名称必须符合之后创建的StatefulSet命名规则：(volumeClaimTemplates_name)-(pod_name)
Statefulset名称为web 三个Pod副本: web-0，web-1,web-2，volumeClaimTemplates名称为：www，那么自动创建出来的PVC名称为www-web[0-2]，为每个Pod创建一个PVC
以下是有storageClass的动态供应PVC的机制时：使用时不需要手动创建pvc和pv，statefulset会根据模板自行创建pvc,和pv并进行bound。也可以手动创建PVC,pvc名称为{volumeClaimTemplates_name}-{podname}-# #为镜像个数，从0开始，比如mysql-master-data-mysql-master-0
volumeClaimTemplates:
- metadata:
name: mysql-master
annotations: #备注
volume.beta.kubernetes.io/storage-class: "ceph-pvc" #stroage-class名称
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
storage: 50Gi
总结：
* 匹配Pod name(网络标识)的模式为：$(statefulset名称)-$(序号)，比如上面的示例：web-0，web-1，web-2。
*StatefulSet为每个Pod副本创建了一个DNS域名，这个域名的格式为： $(podname).(headless server name)，也就意味着服务间是通过Pod域名来通信而非Pod IP，因为当Pod所在Node发生故障时，Pod会被飘移到其它Node上，Pod IP会发生变化，但是Pod域名不会有变化。
* StatefulSet使用Headless服务来控制Pod的域名，这个域名的FQDN为：$(service name).$(namespace).svc.cluster.local，其中，“cluster.local”指的是集群的域名。
* 根据volumeClaimTemplates，为每个Pod创建一个pvc，pvc的命名规则匹配模式：(volumeClaimTemplates.name)-(pod_name)，比如上面的volumeMounts.name=www， Pod name=web-[0-2]，因此创建出来的PVC是www-web-0、www-web-1、www-web-2。
* 删除Pod不会删除其pvc，手动删除pvc将自动释放pv。
===============================================================
# Ceph 静态PV + PVC 建立后端存储 此种方式暂时没看到使用与StatefulSet
#https://blog.csdn.net/ygqygq2/article/details/81982179
通常使用的流程是，首先创建存储，在创建pv，接着创建pvc，pod挂载到相应的pvc，可使用打标签的方式将指定的pvc绑定到指定标签的pv，如果不指定将随机绑定。
通过静态pv，pvc使用ceph：ceph RBD只能进行单节点读写或多节点读，不能进行多节点读写.但是有的业务可能需要多节点读写的功能，可用cephfs解决了这个问题
第一种方式：cephfs方式：
1、跟动态pv一样，安装rdb命令，给所有节点安装ceph客户端。
2、创建Ceph admin secret
apiVersion: v1
kind: Secret
metadata:
name: storage-secret
namespace: default
data:
key: QVFDMmIrWmNEL3JTS2hBQWwwdmR3eGJGMmVYNUM3SjdDUGZZbkE9PQ== #此key 为在步骤二中获取的账号秘钥
type:
kubernetes.io/rbd
shell# kubectl apply -f storage_secret.yaml
3、创建pv vim cephfs-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: cephfs-pv1
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
cephfs:
monitors:
- 192.168.105.92:6789
- 192.168.105.93:6789
- 192.168.105.94:6789
user: admin
secretRef:
name: ceph-admin-secret
readOnly: false
persistentVolumeReclaimPolicy: Recycle
shell# kubectl apply -f cephfs-pv.yaml
4、创建PVC vim cephfs-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: cephfs-pv-claim1
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
shell# kubectl apply -f cephfs-pvc.yaml
5、使用：pod Developent rc..
volumes:
- name: ceph-cephfs-volume
persistentVolumeClaim:
claimName: cephfs-pv-claim1
第二种方式：rdb方式：
1、创建Ceph admin secret
2、创建Ceph pool 和Image
ceph osd pool create kube 128 128 #在ceph集群上
rbd create kube/foo -s 10G --image-feature layering#在k8smaster上 kube/foo 为pool_name/iamge_Name
3、创建PV
apiVersion: v1
kind: PersistentVolume
metadata:
name: rbd-pv1
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
rbd:
monitors:
- 172.16.0.122:6789
- 172.16.0.123.93:6789
- 172.16.0.124.94:6789
pool: kube
image: foo
user: admin
secretRef:
name: ceph-secret
persistentVolumeReclaimPolicy: Recycle
4、创建pvc vim rdb-pve.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: rbd-pv-claim1
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
5、使用
volumes:
- name: ceph-rbd-volume
persistentVolumeClaim:
claimName: rbd-pv-claim1