ceph osd添加和移除

前段时间客户那边有台机器的的硬盘全部挂掉，导致上面的文件系统也全部挂掉，换上新硬盘后需要重新添加osd，下面是详细步骤
需要注意的是，操作尽量选在晚上10：30之后。
先将down掉的osd进程删掉
具体命令如下：

service ceph stop osd.**
ceph osd out osd.**
ceph osd crush remove osd.**
ceph osd rm osd.**
ceph auth del osd.**

ceph -w 

观察等待reblance完成后，在移除另一个，
都移除后，观察ceph集群状态，

ceph -s
ceph health detail

确认正常后开是添加新的osd
将新加入的磁盘分区：

for i in /dev/sd{c,d,e,f} ; do parted $i mklabel gpt && parted $i mkpart primary 2048s 100%; done

生成新的uuid

uuidgen

格式化磁盘，并挂载

mkfs.xfs /dev/***
mkdir /var/lib/ceph/osd/ceph-**
mount -t xfs /dev/*** /var/lib/ceph/osd/ceph-**
ceph osd create a334478b-f090-4c81-8b20-0c481cbe3215
ceph-osd -i ** --mkfs --mkkey --osd-uuid a334478b-f090-4c81-8b20-0c481cbe3215
ceph auth add osd.** osd 'allow*'mon'allow profile osd' -i /var/lib/ceph/osd/osd.**/keyring
ceph osd crush add osd.** 1.0 host=node07
ceph -w

观察，等待reblance完成
检查ceph集群状态，然后继续添加下一块