02-手动部署Ceph15.2.5(octopus)mon服务配置

文章结构

一、安装部署

准备集群基础配置
ceph-mon配置
启动ceph-mon服务

当前在虚拟机monosd(192.168.10.42)上

1. 准备集基础配置

1-1. 准备集群的唯一ID

bash> uuidgen           //611b25ed-0794-43a5-954c-26e2ba4191a3

1-2. 创建monitor的令牌环

bash> ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

1-3. 创建管理员令牌环

bash> ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

1-4. 创建bootstrap-osd令牌环

bash> ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

2. ceph-mon配置

2-1. 将创建的1-3，1-4创建的令牌环导入只monitor令牌环中

bash> ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
bash> ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

2-2. 更改monitor令牌环的拥有者

bash> chown ceph:ceph /tmp/ceph.mon.keyring

2-3. 创建monmap

bash> monmaptool --create --add monosd 192.168.10.42 --fsid 611b25ed-0794-43a5-954c-26e2ba4191a3 /tmp/monmap

2-4. 创建monitor数据目录

bash> sudo -u ceph mkdir /var/lib/ceph/mon/ceph-monosd

2-5. 使用monitor的令牌及map配置monitor服务节点如该步骤出错，则先将2.6执行完后再来执行此步骤

bash> sudo -u ceph ceph-mon --mkfs -i monosd --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

将以上所有命令整理后如下：

bash> uuidgen           //611b25ed-0794-43a5-954c-26e2ba4191a3
bash> ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
bash> ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
bash> ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
bash> ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
bash> ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
bash> chown ceph:ceph /tmp/ceph.mon.keyring
bash> monmaptool --create --add monosd 192.168.10.42 --fsid 611b25ed-0794-43a5-954c-26e2ba4191a3 /tmp/monmap
bash> sudo -u ceph mkdir /var/lib/ceph/mon/ceph-monosd
bash> sudo -u ceph ceph-mon --mkfs -i monosd --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

总共创建文件：

1. /tmp/ceph.mon.keyring                        //1-2
2. /etc/ceph/ceph.client.admin.keyring          //1-3
3. /var/lib/ceph/bootstrap-osd/ceph.keyring     //1-4
4. /tmp/monmap                                  //2-3

2-6. 创建配置文件,并根据信息完善
vim /etc/ceph/ceph.conf

[global]
fsid = 611b25ed-0794-43a5-954c-26e2ba4191a3
mon initial members = monosd
mon host = 192.168.10.42
public network = 192.168.10.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 3
osd pool default min size = 2
osd pool default pg num = 100
osd pool default pgp num = 100
osd crush chooseleaf type = 1

PG与PGP的计算方法：

PG和PGP数量一定要根据OSD的数量进行调整:
　　Total PGs = (Total_number_of_OSD * 100) / max_replication_count
　　PGs = (3*100)/3

3. 启动ceph-mon服务

3-1. 启动ceph-mon服务

bash> systemctl start ceph-mon@monosd
bash> ceph mon enable-msgr2
bash> systemctl status ceph-mon@monosd

日志文件:/var/log/ceph/ceph.log 、/var/log/ceph/ceph-mon.monosd.log
3-2. 查看ceph集群状态

bash> ceph -s
---
　cluster:
    id:     611b25ed-0794-43a5-954c-26e2ba4191a3
    health: HEALTH_OK

　services:
    mon: 1 daemons, quorum monosd (age 5m)
    mgr: no daemons active
    osd: 0 osds: 0 up, 0 in

　data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

启动无误以后，添加到开机启动：systemctl enable ceph-mon@monosd

Ceph Monitor中包含5大Map，统称为集群Map:

Monitor Map。
Monitor Map包括有关monitor节点端到端的信息，其中包括Ceph集群ID，监控主机名和IP地址和端口号，它还存储了当前版本信息以及最新更改信息，可以通过以下命令查看monitor map。->ceph mon dump

OSD Map。
OSD Map包括一些常用的信息，如集群ID，创建OSD Map的版本信息和最后修改信息，以及pool相关信息，pool的名字、pool的ID、类型，副本数目以及PGP，还包括OSD信息，如数量、状态、权重、最新的清洁间隔和OSD主机信息。可以通过执行以下命令查看集群的OSD Map。-> ceph osd dump

PG Map。
PG Map包括当前PG版本、时间戳、最新的OSD Map的版本信息、空间使用比例，以及接近占满比例信息，同时，也包括每个PG ID、对象数目、状态、OSD的状态以及深度清理的详细信息，可以通过以下命令来查看PG Map。->ceph pg dump

CRUSH Map。
CRUSH Map包括集群存储设备信息，故障域层次结构和存储数据时定义失败域规则信息；可以通过以下命令查看CRUSH Map。->ceph osd crush dump

MDS Map。
MDS Map包括存储当前MDS Map的版本信息、创建当前Map的信息、修改时间、数据和元数据POOL ID、集群MDS数目和MDS状态，可通过以下命令查看集群MDS Map信息。->ceph mds dump

Ceph 15.25 手动部署系列笔记