ceph 错误总结

有两个ceph节点重启一个之后，状态如下所示，pg为unknown状态

  cluster:
    id:     8a07121e-c010-473f-9a63-0e209ccc935d
    health: HEALTH_WARN
            Reduced data availability: 131 pgs inactive
 
  services:
    mon: 1 daemons, quorum ceph-node2
    mgr: ceph-node2(active), standbys: ceph-node1
    osd: 6 osds: 6 up, 6 in
 
  data:
    pools:   1 pools, 256 pgs
    objects: 4047 objects, 15957 MB
    usage:   37538 MB used, 2757 GB / 2794 GB avail
    pgs:     51.172% pgs unknown
             131 unknown
             125 active+clean

猜测原因可能是两个mon节点元数据同步出错有关，所以mon的个数最好设置为奇数

ceph12.2.5节点重装后创建osd报错stderr: Can't open /dev/sdb exclusively. Mounted filesystem?

格式化磁盘提示设备繁忙

dmsetup status #查看
ceph--1a5287f5--7797--4c89--bd42--71843d3569a2-osd--block--30491242--d118--4c0b--81f3--a35b28b276d2: 0 1953521664 linear 
ceph--e364bd1c--9f46--40bc--9d38--dbe7f54a437d-osd--block--5bc54311--cc5f--4c4c--bda7--207fa1ecfd7f: 0 1953521664 linear
ll /dev/mapper/
total 0
lrwxrwxrwx 1 root root       7 Apr 26 09:58 ceph--1a5287f5--7797--4c89--bd42--71843d3569a2-osd--block--30491242--d118--4c0b--81f3--a35b28b276d2 -> ../dm-0
lrwxrwxrwx 1 root root       7 Apr 26 10:00 ceph--e364bd1c--9f46--40bc--9d38--dbe7f54a437d-osd--block--5bc54311--cc5f--4c4c--bda7--207fa1ecfd7f -> ../dm-1
crw------- 1 root root 10, 236 Apr 26  2018 control
#删除ceph的文件
dmsetup remove ceph--38c8c2c4--df3a--4522--8c81--6cf1ff8a174b-osd--block--77fe2629--e50b--4ad9--8c46--057995436e3b ceph--8a07121e--c010--473f--9a63--0e209ccc935d-osd--block--8085d377--5024--4848--b696--fa47334b2feb  ceph--b3958863--98c0--4f38--be72--f4e8f8905440-osd--block--ca201fff--95eb--4ce8--9ddf--83ebfe44b8fa
mkfs.xfs -f /dev/sdb #这时格式化成功，可以重新创建osd节点了，一定要执行这个步骤