一、Pool 相关操作
自恢复力： 你可以设置在不丢数据的前提下允许多少 OSD 失效，对多副本存储池来说，此值是一对象应达到的副本数。典型配置存储一个对象和它的一个副本（即 size=2 ），但你可以更改副本数；对纠删编码的存储池来说，此值是编码块数（即纠删码配置里的 m=2）。
归置组： 你可以设置一个存储池的归置组数量。典型配置给每个 OSD 分配大约 100 个归置组，这样，不用过多计算资源就能得到较优的均衡。配置了多个存储池时，要考虑到这些存储池和整个集群的归置组数量要合理。
CRUSH 规则： 当你在存储池里存数据的时候，与此存储池相关联的 CRUSH 规则集可控制 CRUSH 算法，并以此操纵集群内对象及其副本的复制（或纠删码编码的存储池里的数据块）。你可以自定义存储池的 CRUSH 规则。
快照： 用
ceph osd pool mksnap创建快照的时候，实际上创建了某一特定存储池的快照。设置所有者： 你可以设置一个用户 ID 为一个存储池的所有者。
1. 创建 pool
# ceph osd pool create
| 参数 | 说明 |
|---|---|
| pg-num | 存储池拥有的归置组(Placement Group)总数 |
2. pool 列表
# ceph osd lspools
3. pool 配额设置
max_objects 最大对象数
max_bytes 最大容量数 10GB = 10 * 1024 * 1024 * 1024
取消限制设置为 0 即可
# ceph osd pool set-quota max_objects|max_bytes
4. pool 修改名称
# ceph osd pool rename
5. pool 删除
# ceph osd pool delete --yes-i-really-really-mean-it
6. 查看 pool 使用信息
# rados df
7. osd 映射详细信息查看 pool 信息
# ceph osd dump
pool 池信息
# ceph osd dump | grep pool
pool 副本数
# ceph osd dump | grep -i size
# ceph osd pool get size
8. pool 创建快照
pool 快照分两种模式
- Pool Snapshot：正常创建 pool 快照时就是这种模式
- Self Managed Snapsoht：librbd（块存储库）管理的快照。当 pool 中创建了 rbd image 时 转为这个模式
# ceph osd pool mksnap
9. pool 删除快照
# ceph osd pool rmsnap
10. pool其他设置
# ceph osd pool set 下面的参数
| 参数 | 说明 |
|---|---|
| size | 设置存储池中的对象副本数 |
| min_size | 设置 I/O 需要的最小副本数 |
| crash_replay_interval | 允许客户端重放确认而未提交请求的秒数 |
| pgp_num | 计算数据归置时使用的有效归置组数量 |
| hashpspool nodelete nodelete nopgchange nosizechange write_fadvise_dontneed noscrub nodeep-scrub |
给指定存储池设置/取消对应名称标志 |
其他参考官网文档
二、OSD 操作
0. 列出当前 osd
ceph osd tree
1. osd down
ceph osd out osd.xxx
2. 暂停 osd 服务
systemctl stop [email protected]
3. 删除 osd
ceph osd crush remove osd.xxx
ceph auth del osd.xxxx
ceph osd rm osd.xxx
4. 准备 osd
ceph-deploy 2.1 以后准备和激活合并为一个
ceph-deploy osd create --data /dev/sdxxx host_ip
ceph-deploy osd prepare host_ip:/dev/sdxxx
5. 激活 osd
ceph-deploy 2.1 以后准备和激活合并为一个
ceph-deploy osd create --data /dev/sdxxx host_ip
ceph-deploy osd activate host_ip:/dev/sdxxx
6. osd 使用情况
ceph osd df tree
三、RBD 块设备操作
块是一个字节序列（例如，一个 512 字节的数据块）。
基于块的存储接口是最常见的存储数据方法，它们基于旋转介质，像硬盘、 CD 、软盘、甚至传统的 9 磁道磁带。无处不在的块设备接口使虚拟块设备成为与 Ceph 这样的海量存储系统交互的理想之选。
Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。只有在你开始写入数据时它们才会占用物理空间。 Ceph 块设备利用 RADOS 的多种能力，如快照、复制和一致性。 Ceph 的 RADOS 块设备（ RBD ）使用内核模块或 librbd 库与 OSD 交互。
1. 创建块设备镜像
# rbd create --size /
2. 块设备镜像列表
# rbd ls
3. 块设备镜像列表
# rbd info /
4. 块设备镜像详情
# rbd info /
5. 调整块设备映像大小
增加
# rbd resize --size
减小
# rbd resize --size --allow-shrink
6. 块设备镜像删除
# rbd rm /
7. 块设备映射到系统内核
# rbd map --pool
8. 查看已映射的设备
# rbd showmapped
9.取消映射
# rbd unmap /dev/rbd//
10. 创建快照
# rbd snap create /@
11. 列出快照
# rbd snap ls /
12. 回滚快照
# rbd snap rollback /@
13. 删除快照
# rbd snap rm /@
14. 清除某个镜像所有快照
# rbd snap purge /
15. 快照保护
克隆映像要访问父快照。如果用户不小心删除了父快照，所有克隆映像都会损坏。为防止数据丢失，在克隆前必须先保护快照。
开启保护
# rbd snap protect /@
关闭保护
# rbd snap unprotect {pool-name}/{image-name}@{snapshot-name}
16. 快照克隆
必需开启保护的情况下
# rbd snap clone /@ /
17. 列出所有子快照
# rbd children /@< snapshot-name>
18. 父子快照取消关联
克隆出来的映像仍保留了对父快照的引用。要从子克隆删除这些到父快照的引用，你可以把快照的信息复制给子克隆，也就是
flatten它。flatten克隆映像的时间随快照尺寸增大而增加。要删除快照，必须先flatten子映像。
# rbd flatten /
19. 导出导入镜像
导出
# rbd export /
导入
# rbd import /
20. 查看镜像 watcher
rbd status/
四、ceph monitor 相关操作
1. 查看 monitor 状态
# ceph mon stat
2. 查看 monitor 报告状态
# ceph mon_status
3. 移出 monitor 节点
# ceph mon remove
五、其他常用命令
1. ceph 集群配置信息
ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show
2. 所有节点同步配置信息
ceph-deploy --overwrite-conf config push dlp node1 node2 node3
3. 检查 mon 是否添加成功
ceph quorum_status --format json-pretty
六、遇到问题
1. rbd snap unprotect 快照取消保护时被占用问题
报错如下：
root@test:~# rbd snap unprotect template/ubuntu18.04@template
2022-05-19 10:16:15.516768 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: cannot unprotect: at least 2 child(ren) [1c386b8b4567,282e46b8b4567] in pool 'images'
2022-05-19 10:16:15.516789 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: encountered error: (16) Device or resource busy
2022-05-19 10:16:15.516798 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: 0x559347856790 should_complete_error: ret_val=-16
2022-05-19 10:16:15.530950 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: 0x559347856790 should_complete_error: ret_val=-16
解决方法
1. 查看镜像被谁在用
rbd children template/ubuntu18.04
2. 解除他们之间的关系
rbd flatten images/i-qnepdubh
3. 然后就可以正常解除了
rbd snap unprotect template/ubuntu18.04@template
4. 情况快照内容
rbd snap purge template/ubuntu18.04
5. 删除快照
rbd snap rm template/ubuntu18.04