OpenStack+Ceph集群 OSD存储横向扩容

Ceph OSD存储横向扩容

昨天扩容了flavor，忘记扩容ceph的OSD存储了，挂着脚本一晚上，早上一看虚机宕机了…
检测发现vms分区满了，需要分配更大的空间

查看分区情况

可以看到sdb还有更大的空间，原分配的sdb2只分配900g

把OSD节点从ceph节点中移除

vms由节点1的osd4和节点2的osd5控制

我们目的就是删除原有的osd4和osd5，重新分配更大的空间

关闭osd服务

节点1：

systemctl stop ceph-osd@4

节点2：

systemctl stop ceph-osd@5

回主节点设置osd为下线状态

ceph osd down 4
ceph osd down 5

将关闭的osd从crush map中删除

ceph osd crush rm osd.4
ceph osd crush rm osd.5

删除 OSD 认证密钥

ceph auth del osd.4
ceph auth del osd.5

删除 OSD

ceph osd rm 4
ceph osd rm 5

可以看到OSD存储已经从ceph中移除

清理lv卷的ceph标识

现在开始对实际的存储分区进行扩容

查看分区情况

lvdisplay

这个900G的分区就是我们要操作的对象
同理节点2也一样

删除分区标识

节点1

lvremove ceph-9d147c7b-c2d1-4c3a-ada1-9c9465dfccdc

节点2

lvremove ceph-220c752d-20cc-4174-880e-bcea7d4be7c2

重新配置分区

fdisk /dev/sdb

删除分区

新建分区

执行后可以刷新分区信息

partprobe /dev/sdb

重建OSD

cd /etc/ceph/
ceph-deploy disk zap node1 /dev/sdb2
ceph-deploy osd create --data /dev/sdb2 node1
ceph-deploy disk zap node2 /dev/sdb2
ceph-deploy osd create --data /dev/sdb2 node2

可以看到osd4 和osd5都添加回去了

使修改生效

ceph osd setcrushmap -i newcrushmap

可以看到扩容成功