ceph常见操作

当完成最小集群创建之后，进行host，osd等等操作
1、添加host

一些特殊的标签：
_no_schedule：不要在此主机上调度或部署守护程序。
此标签可防止 cephadm 在此主机上部署守护程序。如果它被添加到 已经包含 Ceph 守护进程的现有主机，将导致 cephadm 移动 其他位置的守护程序（OSD 除外，不会自动删除）。
_no_autotune_memory：不自动调整此主机上的内存。
此标签将阻止调整守护程序内存，即使为一个或多个守护程序启用了 或类似选项 在该主机上。osd_memory_target_autotune
_admin：将 client.admin 和 ceph.conf 分发到此主机。
默认情况下，标签将应用于群集中的第一个主机（其中 引导程序最初是运行的），并且密钥设置为分发 通过函数到该主机。添加此标签 到其他主机通常会导致 CEPHADM 部署配置和密钥环文件 在。从版本 16.2.10（太平洋）和 17.2.1（昆西）开始 除了默认位置之外，CEPHADM 还存储配置和密钥环 目录中的文件。_adminclient.adminceph orch client-keyring .../etc/ceph/etc/ceph//var/lib/ceph//config

首先将ceph生成的公钥拷贝到新节点
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-4

#如果需要禁止自动部署mon节点 执行这一步 如果不做这一步，cephadm会自动在已添加的host上去部署mon和mgr进程。
#一个典型的Ceph集群有3到5个monitor daemon。如果超过5个节点，官网建议使用5个monitor
#也可以在下面ceph orch apply mon 3来调整mon

ceph orch host add ceph-03 10.82.88.222  --labels _admin
ceph orch host label add my_hostname my_label 向现有的节点添加标签
ceph orch host label rm my_hostname my_label   删除节点的标签


ceph orch host maintenance enter  [--force] [--yes-i-really-mean-it] 将主机置于维护模式
ceph orch host maintenance exit      退出维护模式

#查看节点
ceph orch host ls

2、删除主机
ceph orch host drain ceph-03      先排除主机上的所有守护进程
ceph-03  10.82.88.222  _admin _no_schedule 会看到多了一个_no_schedule标签
ceph orch osd rm status     查看osd删除进度
ceph orch ps   确认是否还有守护进程
ceph orch host rm ceph-03   最后删除节点
ceph orch host rm  --offline --force  该命令用在节点脱机无法恢复强制删除

服务管理

使用命令行打印服务列表
ceph orch ls 【MON， OSD， MGR， MDS， RGW】 【–refresh】 (强制刷新状态)
打印业务流程协调程序已知的所有守护程序的列表
ceph orch ps [–hostname host] [–daemon_type type] [–service_name name] [–daemon_id id] [–format f] [–refresh]

ceph orch ls --export > cluster.yaml
ceph orch ls --service-type mon --export > mon.yaml 导出相关配置
ceph orch apply -i cluster.yaml 可修改后应用配置
ceph orch apply prometheus --placement=3 或者直接更改数量
ceph orch apply prometheus --placement=“label:mylabel” 根据标签直接改
ceph orch rm 删除服务
ceph orch daemon add mgr --placement=“ceph-03” 手动部署服务
ceph orch daemon rm mgr.ceph-02.hudxmr 删除服务

mgr服务
cephadm MGR 服务托管不同的模块，如 Ceph Dashboard 和 cephadm Manager 模块。
ceph mgr services

osd服务
ceph orch device ls [–hostname=…] [–wide] [–refresh] 列出设备 设备可能不符合用作 OSD 条件的任何原因。–wide
如果要在结果中显示“运行状况”、“标识”和“故障”的结果从，则需要开启ceph config set mgr mgr/cephadm/device_enhanced_scan true增强扫描但是开启改功能需要硬件支持cephadm shell lsmcli ldl 该命令查看是否支持

ceph orch device ls
如果满足以下所有条件，则存储设备被视为可用 满足条件：
设备不得有分区。
设备不得具有任何 LVM 状态。
不得安装设备。
设备不得包含文件系统。
设备不得包含 Ceph BlueStore OSD。
设备必须大于 5 GB。

告诉 Ceph 使用任何可用和未使用的存储设备：
ceph orch apply osd --all-available-devices
从特定主机上的特定设备创建 OSD：
ceph orch daemon add osd host1:/dev/sdb
ceph orch apply osd --all-available-devices 运行该命令后发现可用设备便创建osd 加入–unmanaged=true来取消自动创建

mon部署或调整：

#调整默认3个mon
ceph mon stat  查看具体的mon节点
 ceph orch apply mon 3   调整mon个数
 
#部署mon到指定主节点，需包括引导主机
ceph orch apply mon ceph-1,ceph-2,ceph-3

#或者给需要部署mon的主机打上mon标签，然后基于标签来部署，如
# ceph orch host label add ceph-1 mon
#ceph orch apply mon label:mon 

#查看mon集群状态
ceph mon dump

epoch 5
fsid 788b7912-4ac8-11ed-bef2-005056bc091f
last_changed 2022-10-13T08:26:27.896575+0000
created 2022-10-13T07:27:22.740678+0000
min_mon_release 17 (quincy)
election_strategy: 1
0: [v2:172.16.88.13:3300/0,v1:172.16.88.13:6789/0] mon.ceph-88-13
1: [v2:172.16.88.14:3300/0,v1:172.16.88.14:6789/0] mon.ceph-88-14
2: [v2:172.16.88.15:3300/0,v1:172.16.88.15:6789/0] mon.ceph-88-15
dumped monmap epoch 5