CEPH 14.2.9(nautilus)手动安装遇到的问题及解决方法

CEPH 14.2.9(nautilus)手动安装遇到的问题及解决方法

1. "Error ERANGE: pg_num 800 size 2 would mean 2112 total pgs, which exceeds max 750 (mon_max_pg_per_osd 250 * num_in_osds 3)"
   官网有人说是BUG(https://tracker.ceph.com/issues/22735),有两种解决方式，一种覆盖配置，另一种减小创建pool时的pg数。
   我选择的是覆盖配置。

$ vim /etc/ceph/ceph.conf
[global]
。。。省略
mon_max_pg_per_osd = 2000
。。。省略

2." 3 monitors have not enabled msgr2"
按步骤配置好ceph-mgr(https://ceph.readthedocs.io/en/latest/mgr/administrator/#mgr-administrator-guide)
也就是下面两个命令，name是自己定的

# ceph auth get-or-create mgr.$name mon 'allow profile mgr' osd 'allow *' mds 'allow *'
# ceph-mgr -i $name

然后执行
ceph mon enable-msgr2

3.启用ceph dashboard失败
就不自己写了,看别人的(https://blog.csdn.net/ygqygq2/article/details/103079175)

4.mkfs.xfs: cannot open /dev/sdb1: Device or resource busy
使用ceph-volume安装时，出现了错误，想卸载重装，在删除磁盘时就出了这个问题。

#先执行
dmsetup ls
#然后把那个ceph开头的id复制下来，写到下面“XXXX”的部分执行
dmsetup remove ceph-XXXX

5.osd没安装好，要重新安装怎么办？

#假设你要重装的是第五个osd
ceph osd crush remove osd.5
ceph auth del osd.5
ceph osd rm 5

umount /var/lib/ceph/osd/ceph-5
rm -rf /var/lib/ceph/osd/ceph-5

6.查看当前系统使用的是否是bluestore？
这个不知道，但是可以使用下面的命令试一下；

$ ceph-bluestore-tool show-label --path /var/lib/ceph/osd/ceph-0/
inferring bluefs devices from bluestore path
{
    "/var/lib/ceph/osd/ceph-0/block": {
        "osd_uuid": "733a9891-faa9-46d7-a8da-17c27883d8d2",
        "size": 107374182400,
        "btime": "2020-06-10 16:27:11.320628",
        "description": "main",
        "bluefs": "1",
        "ceph_fsid": "c4dce24c-7ee5-4127-a7ab-89883b03b10a",
        "kv_backend": "rocksdb",
        "magic": "ceph osd volume v026",
        "mkfs_done": "yes",
        "ready": "ready",
        "require_osd_release": "14",
        "whoami": "0"
    }
}

7.ceph osd无法取到最新未用id
我的解决方法：直接卸载所有osd，然后完全手动安装，不使用ceph-volume

8. _read_bdev_label failed to open /var/lib/ceph/osd/ceph-1/block: (2) No such file or directory
   报这个错没有什么影响。

9.手动安装情况下，如何完全卸载ceph，然后重装

systemctl stop ceph.target
rm -rf /var/lib/ceph/*
rm -rf /etc/ceph/*
yum -y remove ceph*