通过 by-path 对应 盘符和 OSD_ID
当前平台：在K8s上部署了Ceph，由Ceph生成的磁盘用途有两种：缓存盘和数据盘
背景说明：每个数据盘都会对应一个OSD_ID，而缓存盘是一种特殊的数据盘
需求：监控页面需要展示各种用途的磁盘的总容量和已使用量，而数据盘(缓存盘)的OSD_ID和盘符之间的关系，需要通过/dev/disk/by-path/pci××× 来对应
方法：
(1) 获取该节点的所有数据盘和缓存盘pod
[root@node-1 ~]# ds=$(kubectl get ds -n ceph | grep osd | grep $(hostname -s)| awk '{print $1}')
[root@node-1 ~]# echo $ds
ceph-osd-0-node-1 ceph-osd-1-node-1 ceph-osd-2-node-1 ceph-osd-3-node-1 ceph-osd-4-node-1
(2) 获取缓存盘的/dev/disk/by-path路径
[root@node-1 ~]# cache_paths=$(for i in $ds;do kubectl get ds $i -n ceph -o yaml | grep -A1 BLUESTORE_CACHE_DISK| grep value | uniq;done | uniq | awk '{print $2}')
[root@node-1 ~]# echo $cache_paths
/dev/disk/by-path/pci-0000:02:00.0-scsi-0:2:0:0
(3) 获取到该缓存盘的盘符
[root@node-1 ~]# cache_disks=$(for i in $cache_paths;do ls -l $i | awk -F '/' '{print $NF}';done)
[root@node-1 ~]# echo $cache_disks
sdp(4) 获取数据盘的/dev/disk/by-path路径
[root@node-1 ~]# data_paths=$(for i in $ds;do kubectl get ds $i -n ceph -o yaml | grep -A1 BLUESTORE_DATA_DISK| grep value | uniq;done |uniq | awk '{print $2}')
[root@node-1 ~]# echo $data_paths
/dev/disk/by-path/pci-0000:02:00.0-scsi-0:0:10:0 /dev/disk/by-path/pci-0000:02:00.0-scsi-0:0:11:0 /dev/disk/by-path/pci-0000:02:00.0-scsi-0:0:12:0 /dev/disk/by-path/pci-0000:02:00.0-scsi-0:0:13:0 /dev/disk/by-path/pci-0000:02:00.0-scsi-0:2:0:0(5) 获取数据盘的盘符 (缓存盘是一种特殊的数据盘)
[root@node-1 ~]# data_disks=$(for i in $data_paths;do ls -l $i | awk -F '/' '{print $NF}';done)
[root@node-1 ~]# echo $data_disks
sdf sdg sdh sdi sdp
(6) 获取以上盘符对应的OSD_ID，从OSD pod的name上取，该方法比较粗糙，精确的方法见(8)
[root@node-1 ~]# osd_ids=$(for i in $ds;do echo $i | cut -d- -f3 | uniq;done)
[root@node-1 ~]# echo $osd_ids
0 1 2 3 4
(7) 所以盘符和OSD_ID之间的对应关系如下
sdf sdg sdh sdi sdp
0 1 2 3 4
备注，盘符是通过变量ds，按序遍历获取，OSD_ID也是通过变量ds按序遍历获取，所以，存在按序一一对应关系
(8) 获取OSD_ID更精确的方法，从OSD的配置文件里取
[root@node-1 ~]# data_disks=$(for i in $ds;do kubectl get ds $i -n ceph -o yaml | grep -A1 BLUESTORE_OSD_ID| grep value | uniq;done |uniq | awk -F '"' '{print $2}')
[root@node-1 ~]# echo $data_disks
0 1 2 3 4
拓展：通过OSD_ID，获取数据盘和缓存盘的使用量
[root@node-1 ~]# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
4 hdd 0.08008 1.00000 62.0GiB 14.8GiB 47.2GiB 23.93 4.64 128
9 hdd 0.08008 1.00000 62.0GiB 14.8GiB 47.2GiB 23.93 4.64 128
14 ssd 0.08066 1.00000 62.6GiB 14.7GiB 47.9GiB 23.48 4.55 128
0 ssd 0.92920 1.00000 932GiB 47.5GiB 884GiB 5.10 0.99 112
1 ssd 0.92920 1.00000 932GiB 39.4GiB 892GiB 4.23 0.82 113
2 ssd 0.92920 1.00000 932GiB 46.0GiB 886GiB 4.94 0.96 110
3 ssd 0.92920 1.00000 932GiB 47.6GiB 884GiB 5.11 0.99 129
5 ssd 0.92920 1.00000 932GiB 37.1GiB 894GiB 3.98 0.77 103
6 ssd 0.92920 1.00000 932GiB 54.7GiB 877GiB 5.87 1.14 136
7 ssd 0.92920 1.00000 932GiB 45.5GiB 886GiB 4.88 0.95 102
8 ssd 0.92920 1.00000 932GiB 43.2GiB 888GiB 4.63 0.90 123
10 ssd 0.92920 1.00000 932GiB 37.2GiB 894GiB 4.00 0.77 112
11 ssd 0.92920 1.00000 932GiB 32.4GiB 899GiB 3.48 0.67 111
12 ssd 0.92920 1.00000 932GiB 52.2GiB 879GiB 5.61 1.09 119
13 ssd 0.92920 1.00000 932GiB 59.1GiB 872GiB 6.34 1.23 122
TOTAL 11.1TiB 586GiB 10.5TiB 5.16
MIN/MAX VAR: 0.67/4.64 STDDEV: 8.36
第一列对应OSD_ID, 第六列对应使用量