K8s后端接入 CephFS 文件存储
一: ceph操作部分
此节所有操作需要在【Ceph 节点】中进行
1）使用 CephFS 必须保证至少有一个节点提供 mds 服务
# ceph mds stat
1 up:standby
2)创建资源池
#ceph osd pool create cephfs_data 10
#ceph osd pool create cephfs_metadata 10
文件系统需要两个资源池，一个用于存储数据本体，一个用于存放索引信息及其他数据相关信息。
3)创建文件系统
# ceph fs new cephfs cephfs_metadata cephfs_data
new fs with metadata pool 10 and data pool 7
# ceph mds stat
cephfs:1 {0=szbqjrtest01=up:active}
# ceph fs ls
name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
#
4)获取 admin 秘钥
# echo "AQAfLMFdptOdMRAA24zqFbx5kaKwLpuroPV0Ug==" |base64
QVFBZkxNRmRwdE9kTVJBQTI0enFGYng1a2FLd0xwdXJvUFYwVWc9PQo=
这里输出的结果是直接进行 base64 加密的，方便后面直接使用。请记下这串字符。
################################################################################################
二: K8S操作
2.1 )测试挂载CephFS文件系统
cephfs有两种mount方式：内核（即mount命令）、用户态（ceph-fuse）
内核挂载（即mount命令）
[root@k8s1 /]# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
key = AQAfLMFdptOdMRAA24zqFbx5kaKwLpuroPV0Ug==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"
[root@k8s1 /]#
[root@k8s1 /]# mount -t ceph 10.83.35.79:/ /cephfs -o name=admin,secret=AQAfLMFdptOdMRAA24zqFbx5kaKwLpuroPV0Ug==
[root@k8s1 /]#
################################################################################################
用户态挂载命令：
cephfs还支持用户态mount，方法是使用ceph-fuse命令。
[root@k8s2 ~]# yum -y install ceph-fuse
[root@k8s2 /]# ceph-fuse -m 10.83.35.79:6789 /ceph-fuse
ceph-fuse[1560587]: starting ceph client2019-11-19 18:30:22.821 7fd889dc0e00 -1 init, newargv = 0x5581bbbf0050 newargc=7
ceph-fuse[1560587]: starting fuse
[root@k8s2 /]#
[root@k8s2 /]# df |grep ceph
ceph-fuse 12660736 0 12660736 0% /ceph-fuse
[root@k8s2 /]#
###############################################################################################
三: 测试pod使用CephFS文件系统
[root@k8s1 /]# kubectl get secret -n kube-system|grep ceph-secret
ceph-secret kubernetes.io/rbd 1 6d5h
ceph-secret-01 Opaque 1 5h29m
[root@k8s1 /]#
[root@k8s1 /]#
[root@k8s1 /]# cat ceph-test.yaml
apiVersion: v1
kind: Pod
metadata:
name: cephfs2
namespace: kube-system
spec:
containers:
- name: cephfs-rw
image: nginx
volumeMounts:
- mountPath: "/mnt/cephfs"
name: cephfs
volumes:
- name: cephfs
cephfs:
monitors:
- 10.83.35.79:6789
user: "admin"
secretRef:
name: ceph-secret-admin
readOnly: true
[root@k8s1 /]# kubectl apply -f ceph-test.yaml
pod/cephfs2 created
[root@k8s1 /]#
[root@k8s1 /]# kubectl get pod -n kube-system|grep cephfs
cephfs2 1/1 Running 0 25s
[root@k8s1 /]#
[root@k8s1 /]#
[root@k8s1 /]# kubectl exec -it -n kube-system cephfs2 -- mount|grep cephfs
ceph-fuse on /mnt/cephfs type fuse.ceph-fuse (ro,relatime,user_id=0,group_id=0,allow_other)
[root@k8s1 /]#
[root@k8s1 /]#
[root@k8s1 /]#
[root@k8s1 /]# kubectl exec -it cephfs2 -n kube-system /bin/bash
root@cephfs2:/#
root@cephfs2:/# cat /etc/hosts
# Kubernetes-managed hosts file.
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
fe00::1 ip6-allnodes
fe00::2 ip6-allrouters
192.168.109.100 cephfs2
root@cephfs2:/# df |grep cephfs
ceph-fuse 12660736 102400 12558336 1% /mnt/cephfs
root@cephfs2:/#
# 可以查看到cephfs2的pod已经挂载了cephfs