Ceph luminous 卸载与清理

清理Ceph

使用 ceph-deploy purge（不保留Ceph packages） 或者 ceph-deploy purgedata（保留Ceph packages）

命令参考如下：
ceph-deploy purge {hostname} [{hostname} …]
ceph-deploy purgedata {hostname} [{hostname} …]

第一步

这里我们完全clean ceph，恢复主机原来的模样
由于我这里部署了三台Ceph，所以命令执行如下：

[root@ceph-1 cluster]# ceph-deploy purge ceph-1 ceph-2 ceph-3

等待一会吧，时间还是稍微有点长的。。。
执行结束后可以看到"Cleaning up everything"的字样，然而并非像官方or这里显示的那样，其实还有数据没有删除，比如：

[root@ceph-1 cluster]# ll /var/lib/ceph/
total 28
drwxr-x--- 2 ceph ceph 4096 Jun 21 17:09 bootstrap-mds
drwxr-x--- 2 ceph ceph 4096 Jun 21 17:08 bootstrap-mgr
drwxr-x--- 2 ceph ceph 4096 Jun 21 17:07 bootstrap-osd
drwxr-x--- 3 ceph ceph 4096 Jun 21 17:09 mds
drwxr-x--- 3 ceph ceph 4096 Jun 21 17:08 mgr
drwxr-x--- 3 ceph ceph 4096 Jun 21 17:06 mon
drwxr-x--- 4 ceph ceph 4096 Jun 21 17:07 osd

第二步

[root@ceph-1 cluster]# umount /var/lib/ceph/osd/*
[root@ceph-1 cluster]# rm -rf /var/lib/ceph
[root@ceph-1 cluster]# rm -rf /etc/ceph
[root@ceph-1 cluster]# rm -rf /var/run/ceph/

到此，你以为你结束了？其实还没有。。。why？lsblk一下

[root@ceph-1 cluster]# lsblk
NAME                                                                            MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda                                                                             253:0    0  40G  0 disk 
└─vda1                                                                          253:1    0  40G  0 part /
vdb                                                                             253:16   0  50G  0 disk 
└─ceph--6e7d98d3--22a0--4cc7--a9e5--b4a8a97b9f0f-osd--block--49dd9ad5--81f1--4a1e--8535--3c9477c90140
                                                                                252:0    0  50G  0 lvm  
vdc                                                                             253:32   0  50G  0 disk 
└─ceph--f44f6b2c--16f8--4700--af87--52d5d950cb31-osd--block--07fbc656--5a52--4e27--bc05--ef3b09ae3533
                                                                                252:1    0  50G  0 lvm  
vdd                                                                             253:48   0  50G  0 disk 
├─vdd1                                                                          253:49   0  10G  0 part 
├─vdd2                                                                          253:50   0  10G  0 part 
├─vdd3                                                                          253:51   0  10G  0 part 
└─vdd4                                                                          253:52   0  10G  0 part 

还有磁盘要清理。。于是继续。。

第三步

[root@ceph-1 cluster]# vgscan
  Reading all physical volumes.  This may take a while...
  Found volume group "ceph-6e7d98d3-22a0-4cc7-a9e5-b4a8a97b9f0f" using metadata type lvm2
  Found volume group "ceph-f44f6b2c-16f8-4700-af87-52d5d950cb31" using metadata type lvm2
[root@ceph-1 cluster]# vgremove ceph-6e7d98d3-22a0-4cc7-a9e5-b4a8a97b9f0f -y
  Logical volume "osd-block-49dd9ad5-81f1-4a1e-8535-3c9477c90140" successfully removed
  Volume group "ceph-6e7d98d3-22a0-4cc7-a9e5-b4a8a97b9f0f" successfully removed
[root@ceph-1 cluster]# vgremove ceph-f44f6b2c-16f8-4700-af87-52d5d950cb31 -y
  Logical volume "osd-block-07fbc656-5a52-4e27-bc05-ef3b09ae3533" successfully removed
  Volume group "ceph-f44f6b2c-16f8-4700-af87-52d5d950cb31" successfully removed

到此终于结束了。。。当然了还可以没结束，去清理一些其他的软件包

第四步（没必要）

清理ntp, ceph-deploy 等软件包

[root@ceph-2 ~]# yum remove xxx -y

vdd磁盘清理，用fdisk即可

值得注意的地方

1. 如果不走第三步，当你在相同主机再次部署ceph的时候会无法清空磁盘并创建osd
2. 如果不走第二步，当你在相同主机再次部署ceph的时候会有意想不到的问题，比如osd tree莫名多了几个down的osd，cephfs的pool 的pgs莫名down了等等。。。（当时我就是尝试了各种，欲哭无泪）
3. 如果安装ceph时本地新建了cluster文件夹，里面放有各种配置文件，建议这个文件夹也一并删除掉
4. 所以清理就一定要清干净

References

1. http://docs.ceph.com/docs/mimic/rados/deployment/ceph-deploy-purge/