Kubernetes中快速部署基于Rook-Ceph集群的分布式块存储
目录
Rook安装
下载Rook安装文件
配置更改
部署rook
创建ceph集群
配置更改
创建Ceph集群
*安装ceph snapshot控制器
安装ceph客户端工具
部署ceph-tools
查看mgr service
Ceph dashboard
暴露服务
登录
块存储、对象存储、文件存储的使用场景
ceph块存储的使用
创建StorageClass和ceph的存储池
挂载测试
StatefulSet volumeClaimTemplates
Rook安装
- 注意1：rook的版本大于1.3，不要使用目录创建集群，要使用单独的裸盘进行创建，也就是创建一个新的磁盘，挂载到宿主机，不进行格式化，直接使用即可。
- 注意2：做这个实验需要高配置，每个节点配置不能低于2核4G
- 注意3：k8s 1.19以上版本，快照功能需要单独安装snapshot控制器
下载Rook安装文件
下载指定版本Rook
git clone --single-branch --branch v1.8.2 https://github.com.cnpmjs.org/rook/rook.git配置更改
cd rook/deploy/examples修改Rook CSI镜像地址，原本的地址是gcr的镜像，但是gcr的镜像无法被国内访问，所以需要同步gcr的镜像到阿里云镜像仓库，，可以直接修改如下：
vi operator.yaml在
下方增加：
ROOK_CSI_REGISTRAR_IMAGE: "registry.cn-beijing.aliyuncs.com/dotbalo/csi-node-driver-registrar:v2.0.1"
ROOK_CSI_RESIZER_IMAGE: "registry.cn-beijing.aliyuncs.com/dotbalo/csi-resizer:v1.0.1"
ROOK_CSI_PROVISIONER_IMAGE: "registry.cn-beijing.aliyuncs.com/dotbalo/csi-provisioner:v2.0.4"
ROOK_CSI_SNAPSHOTTER_IMAGE: "registry.cn-beijing.aliyuncs.com/dotbalo/csi-snapshotter:v4.0.0"
ROOK_CSI_ATTACHER_IMAGE: "registry.cn-beijing.aliyuncs.com/dotbalo/csi-attacher:v3.0.2"注意空格缩进
如果是其他版本，需要自行同步，同步方法可以在网上找到相关文章。可以参考
https://blog.csdn.net/sinat_35543900/article/details/103290782
还是operator文件，新版本rook默认关闭了自动发现容器的部署，如果没有指定osd节点的位置，这层配置一定要打开，来让自动发现容器帮助我们去发现设备上的块设备，可以找到ROOK_ENABLE_DISCOVERY_DAEMON改成true即可：
部署rook
部署步骤如下：
cd rook/deploy/examples
kubectl create -f crds.yaml -f common.yaml -f operator.yaml等待operator容器和discover容器启动
[root@k8s-172-16-90-71 examples]# kubectl -n rook-ceph get pod
NAME READY STATUS RESTARTS AGE
rook-ceph-operator-7c7d8846f4-fsv9f 1/1 Running 0 25h
rook-discover-qw2ln 1/1 Running 0 28h
rook-discover-wf8t7 1/1 Running 0 28h
rook-discover-z6dhq 1/1 Running 0 28h
全部变成1/1 Running 才可以创建Ceph集群
创建ceph集群
配置更改
vi cluster.yaml主要更改的是osd节点所在的位置：
name只能填hostname，不能填写ip地址
注意：新版必须采用裸盘，即未格式化的磁盘。其中k8s-master03 k8s-node01 node02有新加的一个磁盘，可以通过lsblk -f查看新添加的磁盘名称。建议最少三个节点，否则后面的试验可能会出现问题
需要关闭dashboard的ssl选项，否则可能出现通过域名访问不到的情况
创建Ceph集群
kubectl create -f cluster.yaml创建完成后，可以查看pod的状态：
[root@k8s-172-16-90-71 examples]# kubectl -n rook-ceph get pod
NAME READY STATUS RESTARTS AGE
csi-cephfsplugin-6nwbp 3/3 Running 0 25h
csi-cephfsplugin-b7h6k 3/3 Running 0 25h
csi-cephfsplugin-provisioner-785798bc8f-78tvr 6/6 Running 0 25h
csi-cephfsplugin-provisioner-785798bc8f-krsdx 6/6 Running 0 25h
csi-rbdplugin-2mmmj 3/3 Running 0 25h
csi-rbdplugin-85sbg 3/3 Running 0 25h
csi-rbdplugin-provisioner-75cdf8cd6d-ghl8f 6/6 Running 0 25h
csi-rbdplugin-provisioner-75cdf8cd6d-wf6h8 6/6 Running 0 25h
rook-ceph-crashcollector-k8s-master03-64c56d8d8b-9vqrk 1/1 Running 0 28h
rook-ceph-crashcollector-k8s-node01-7fc9b79798-6r2rn 1/1 Running 0 28h
rook-ceph-crashcollector-k8s-node02-6954497cb9-pqll7 1/1 Running 0 28h
rook-ceph-mgr-a-dd4bf8445-scsrt 1/1 Running 0 25h
rook-ceph-mon-a-856779ddfd-8v7s2 1/1 Running 0 28h
rook-ceph-mon-b-6c94bddf8c-wb69x 1/1 Running 0 28h
rook-ceph-mon-c-5659bcb5c9-pjn5f 1/1 Running 0 28h
rook-ceph-operator-7c7d8846f4-fsv9f 1/1 Running 0 25h
rook-ceph-osd-0-7c6cdb8546-kkcts 1/1 Running 0 28h
rook-ceph-osd-1-f8b598d47-qjnwl 1/1 Running 0 28h
rook-ceph-osd-2-55846dbcd9-jvm62 1/1 Running 0 28h
rook-ceph-osd-prepare-k8s-master03-h8lt2 0/1 Completed 0 5h1m
rook-ceph-osd-prepare-k8s-node01-jqz7x 0/1 Completed 0 5h1m
rook-ceph-osd-prepare-k8s-node02-hm8lc 0/1 Completed 0 5h1m
rook-discover-qw2ln 1/1 Running 0 29h
rook-discover-wf8t7 1/1 Running 0 29h
rook-discover-z6dhq 1/1 Running 0 29h
需要注意的是，osd-x的容器必须是存在的，且是正常的。如果上述Pod均正常，则认为集群安装成功。
更多配置：https://rook.io/docs/rook/v1.8/ceph-cluster-crd.html
*安装ceph snapshot控制器
k8s 1.19版本以上需要单独安装snapshot控制器，才能完成pvc的快照功能，所以在此提前安装下，如果是1.19以下版本，不需要单独安装。
snapshot控制器的部署在集群安装时的k8s-ha-install项目中，需要切换到1.20.x分支：
具体文档：https://rook.io/docs/rook/v1.8/ceph-csi-snapshot.html
安装ceph客户端工具
部署ceph-tools
[root@k8s-172-16-90-71 examples]# pwd
/root/rook/deploy/examples
kubectl create -f toolbox.yaml -n rook-ceph待容器Running后，即可执行相关命令
[root@k8s-172-16-90-71 examples]# kubectl get po -n rook-ceph -l app=rook-ceph-tools
NAME READY STATUS RESTARTS AGE
rook-ceph-tools-6f7467bb4d-qzsvg 1/1 Running 0
[root@k8s-172-16-90-71 examples]# kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
[rook@rook-ceph-tools-6f56cdd85d-9hfg5 /]$ ceph status
cluster:
id: 3e98e41e-9f6a-49ab-b4ff-63d926d8e860
health: HEALTH_OK
services:
mon: 3 daemons, quorum a,b,d (age 4h)
mgr: a(active, since 117m)
osd: 3 osds: 3 up (since 4h), 3 in (since 4h)
data:
pools: 2 pools, 33 pgs
objects: 262 objects, 806 MiB
usage: 2.4 GiB used, 148 GiB / 150 GiB avail
pgs: 33 active+clean
[rook@rook-ceph-tools-6f56cdd85d-9hfg5 /]$ ceph osd status
ID HOST USED AVAIL WR OPS WR DATA RD OPS RD DATA STATE
0 k8s-172-16-90-72 822M 49.1G 0 0 0 0 exists,up
1 k8s-172-16-90-74 826M 49.1G 0 0 0 0 exists,up
2 k8s-172-16-90-73 826M 49.1G 0 0 0 0 exists,up
[rook@rook-ceph-tools-6f56cdd85d-9hfg5 /]$ ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 150 GiB 148 GiB 2.4 GiB 2.4 GiB 1.61
TOTAL 150 GiB 148 GiB 2.4 GiB 2.4 GiB 1.61
--- POOLS ---
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
device_health_metrics 1 1 0 B 0 0 B 0 47 GiB
replicapool 2 32 795 MiB 262 2.3 GiB 1.64 47 GiB
查看mgr service
[rook@rook-ceph-tools-6f56cdd85d-9hfg5 /]$ ceph mgr services
{
"dashboard": "http://100.112.95.51:7000/",
"prometheus": "http://100.112.95.51:9283/"
}
获取到ceph dashboard的endpoint
这里记录一个踩坑点，cluster.yaml中默认的dashboard端口配置是注释的8443，可以认为默认的端口是8443，但是在实际部署的过程中观察到了svc的port从8443漂移到了7000的情况，因此需要通过ceph-tools工具查询到实际端口
工具获取到的端口是7000，这里我们根据ceph mgr services的查询结果，在后面的步骤去配置dashboard的端口访问。
Ceph dashboard
暴露服务
默认情况下，ceph dashboard是打开的，但是通过官方operator部署的service只有clusterIp类型，
[root@k8s-172-16-90-71 examples]# kubectl get svc rook-ceph-mgr-dashboard -n rook-ceph
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
rook-ceph-mgr-dashboard ClusterIP 10.96.1.1727000/TCP 5h9m
可以创建一个nodePort类型的Service暴露服务：
vim dashboard-np.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: rook-ceph-mgr
ceph_daemon_id: a
rook_cluster: rook-ceph
name: rook-ceph-mgr-dashboard-np
namespace: rook-ceph
spec:
ports:
- name: http-dashboard
port: 7000
protocol: TCP
targetPort: 7000
selector:
app: rook-ceph-mgr
ceph_daemon_id: a
rook_cluster: rook-ceph
sessionAffinity: None
type: NodePort
保存退出并应用后，会创建一个端口，然后通过任意k8s节点的IP+该端口即可访问该dashboard：
[root@k8s-172-16-90-71 examples]# kubectl get svc -n rook-ceph rook-ceph-mgr-dashboard-np
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
rook-ceph-mgr-dashboard-np NodePort 10.96.0.47000:55553/TCP 3h14m
登录
账号为admin，查看密码：
kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo
警告解决：https://docs.ceph.com/en/octopus/rados/operations/health-checks/
块存储、对象存储、文件存储的使用场景
- 文件存储 比如用户头像 被多个应用实例访问到
- 块存储 适用于一块存储只被一个应用实例访问到的场景，多部署在本地，用于有状态应用，经典的像redis这些中间件记录有节点状态等信息，因此redis的主从访问的数据是不一样
- 对象存储 不需要挂载，一般是远端存储，存储云服务器。使用场景多是在代码中去实现远端存储访问，比如去修改word文件。值得一提的是，老牌中间件如redis不支持配置远端存储（不过k8s引入sc也可以实现），并且对于数据库来说使用对象存储会导致性能有所下降
ceph块存储的使用
块存储一般用于一个Pod挂载一块存储使用，相当于一个服务器新挂了一个盘，只给一个应用使用。
参考文档：https://rook.io/docs/rook/v1.8/ceph-block.html
创建StorageClass和ceph的存储池
[root@k8s-172-16-90-71 examples]# pwd
/root/rook/deploy/examples
[root@k8s-172-16-90-71 examples]# vi csi/rbd/storageclass.yaml
因为我是试验环境，所以将副本数设置成了2（不能设置为1），生产环境最少为3，且要小于等于osd的数量
这个配置文件包含了两个资源：CephBlockPool和StorageClass
StorageClass没有namespace隔离性，但是CephBlockPool有命名空间限制，需要指定到应用所在的命名空间内
这里将CephBlockPool部署到默认namespace，在此命名空间下的container都可以通过pvc来获得持久化的存储支持
创建StorageClass和存储池：
[root@k8s-172-16-90-71 examples]# kubectl create -f csi/rbd/storageclass.yaml -n rook-ceph -n default
cephblockpool.ceph.rook.io/replicapool created
storageclass.storage.k8s.io/rook-ceph-block created
查看创建的cephblockpool和storageClass：
[root@k8s-172-16-90-71 examples]# kubectl get cephblockpool
NAME AGE
replicapool 146m
[root@k8s-172-16-90-71 examples]# kubectl get sc
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
rook-ceph-block rook-ceph.rbd.csi.ceph.com Delete Immediate true 136m
此时可以在ceph dashboard查看到改Pool，如果没有显示说明没有创建成功
挂载测试
创建一个MySQL服务
[root@k8s-172-16-90-71 examples]# pwd
/root/rook/deploy/examples
kubectl create -f mysql.yaml
kubectl create -f wordpress.yaml该文件有一段pvc的配置
pvc会连接刚才创建的storageClass，然后动态创建pv，然后连接到ceph创建对应的存储
之后创建pvc只需要指定storageClassName为刚才创建的StorageClass名称即可连接到rook的ceph。如果是statefulset，只需要将volumeTemplateClaim里面的Claim名称改为StorageClass名称即可动态创建Pod。
其中MySQL deployment的volumes配置挂载了该pvc：
claimName为pvc的名称
因为MySQL的数据不能多个MySQL实例连接同一个存储，所以一般只能用块存储。相当于新加了一块盘给MySQL使用。
创建完成后可以查看创建的pvc和pv
[root@k8s-172-16-90-71 examples]# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-3d26c684-db32-4680-8133-edfcba2e9e47 20Gi RWO Delete Bound default/wp-pv-claim rook-ceph-block 146m
pvc-760c1dbf-ce4a-49c5-89ce-d845c65a5fbe 20Gi RWO Delete Bound default/mysql-pv-claim rook-ceph-block 146m
[root@k8s-172-16-90-71 examples]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mysql-pv-claim Bound pvc-760c1dbf-ce4a-49c5-89ce-d845c65a5fbe 20Gi RWO rook-ceph-block 146m
wp-pv-claim Bound pvc-3d26c684-db32-4680-8133-edfcba2e9e47 20Gi RWO rook-ceph-block 146m
此时在ceph dashboard上面也可以查看到对应的image
StatefulSet volumeClaimTemplates
apiVersion: v1
kind: Service
metadata:
name: nginx
labels:
app: nginx
spec:
ports:
- port: 80
name: web
clusterIP: None
selector:
app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web
spec:
selector:
matchLabels:
app: nginx # has to match .spec.template.metadata.labels
serviceName: "nginx"
replicas: 3 # by default is 1
template:
metadata:
labels:
app: nginx # has to match .spec.selector.matchLabels
spec:
terminationGracePeriodSeconds: 10
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
name: web
volumeMounts:
- name: www
mountPath: /usr/share/nginx/html
volumeClaimTemplates:
- metadata:
name: www
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: "rook-ceph-block"
resources:
requests:
storage: 1Gi