Ceph部署

[TOC]

一、Ceph集群规划

系统类型： Centos7.5
ceph版本： v13.2.7 mimic

主机名	IP地址	角色	数据盘
ceph-node1	172.16.0.122	mon、mgr、osd、deploy	/dev/sdb/
ceph-node1	172.16.0.123	mon、mgr、osd	/dev/sdb/
ceph-node1	172.16.0.124	mon、mgr、osd	/dev/sdb/

二、安装部署

1、预检

host解析
时间同步
ssh免密登录，deploy节点需要ssh免密登录到所有的node节点
关闭防火墙
关闭selinux

2、部署

(1)、所有节点配置yum源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

cat << EOF > /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://download.ceph.com/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-mimic/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-mimic/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
EOF

(2)、deploy节点安装ceph-deploy并初始化集群

在node1安装ceph-deploy工具

  # sudo yum -y install ceph-deploy
  # ceph-deploy --version
   2.0.1

创建目录，用于保存执行ceph-deploy时产生的文件

mkdir /data/ceph-cluster/ && cd /data/ceph-cluster/

初始化集群

ceph-deploy new ceph-node1 ceph-node2 ceph-node3

修改配置文件

cat ceph.conf
[global]
fsid = 51fd080e-722e-4c53-9c48-c6bbddef663a
mon_initial_members = ceph-node1, ceph-node2, ceph-node3
mon_host = 172.16.0.122,172.16.0.123,172.16.0.124
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 172.16.0.0/24
osd_pool_default_size = 2

配置的含义：
fsid：文件系统id
mon_initial_members：监视器主机名
mon_host：监视器IP地址
cephx：表示开启认证
public network：指定public网络

在三个节点安装ceph

ceph-deploy install --release mimic ceph-node1 ceph-node2 ceph-node3

开始部署monitor

ceph-deploy  mon create-initial

拷贝配置文件及admin密钥到各ceph节点

ceph-deploy admin ceph-node1 ceph-node2 ceph-node3

创建ceph管理进程服务

ceph-deploy mgr create ceph-node1 ceph-node2 ceph-node3

查看集群状态,osd未创建

# ceph -s
 cluster:
    id:     aa6f450a-613a-435d-ace3-4e1a4c8d231a
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3
    mgr: ceph-node1(active), standbys: ceph-node2, ceph-node3
    osd: 0 osds: 0 up, 0 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0  objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

创建osd
注意：如果磁盘已存在分区需要执行zap命令，删除分区和磁盘内容，然后再执行create

ceph-deploy disk zap ceph-node1 /dev/sdb
ceph-deploy disk zap ceph-node2 /dev/sdb
ceph-deploy disk zap ceph-node3 /dev/sdb
ceph-deploy osd create --data /dev/sdb ceph-node1
ceph-deploy osd create --data /dev/sdb ceph-node2
ceph-deploy osd create --data /dev/sdb ceph-node3

再次查看集群状态

#ceph -s
  cluster:
    id:     aa6f450a-613a-435d-ace3-4e1a4c8d231a
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3
    mgr: ceph-node1(active), standbys: ceph-node2, ceph-node3
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0  objects, 0 B
    usage:   3.0 GiB used, 57 GiB / 60 GiB avail
pgs:

(3)、ceph启用dashboard

启用dashboard

ceph mgr module enable dashboard

为dashboard生成自签名证书，使用https访问

ceph dashboard create-self-signed-cert

为dashboard绑定IP和端口

ceph config set mgr mgr/dashboard/server_addr 172.16.0.122
ceph config set mgr mgr/dashboard/server_port 7000

重启一下mgr

sudo systemctl restart ceph-mgr@ceph-node1

查看服务

sudo ceph mgr services
{
    "dashboard": "https://172.16.0.122:9000/"
}

更新dashboard账号密码

ceph dashboard set-login-credentials admin Zywlw@2019

登录dashboard

https://172.16.0.122:9000/

(4)、取消部署ceph

如果部署失败，可以执行如下命令清除各节点上的软件及部署时生成的文件;

ceph-deploy purge {ceph-node}
ceph-deploy purgedata {ceph-node}
ceph-deploy forgetkeys

三、ceph常用命令

1、集群监控

#检查集群健康状况，正常返回HEALTH_OK
ceph health

如果配置文件或密钥不在默认路径，需要指定：
ceph -c /path/to/conf -k /path/to/keyring health

#检查集群状态，返回集群健康状态、服务状态以及数据状态
ceph status 或者 ceph –s

#检查集群的使用情况，返回集群整体使用情况和各个存储池的使用情况
ceph df

#检查OSD状态
ceph osd stat 或者 ceph osd dump 或者 ceph osd tree

#检查监视器状态
ceph mon stat 或者 ceph mon dump

#检查MDS状态
ceph mds stat 或者 ceph mds dump

2、存储池

#列出存储池
ceph osd lspools

#创建存储池
##副本类型
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] [crush-ruleset-name] [expected-num-objects]

##纠删类型(类似于RAID5)
ceph osd pool create {pool-name} {pg-num} {pgp-num} erasure [erasure-code-profile] [crush-ruleset-name] [expected_num_objects]
##必需参数：
pool-name 池名称
pg-num 存储池拥有的归置组总数
少于5个OSD时可把pg_num设置为128
OSD数量在5到10个时，可把pg_num设置为 512
OSD数量在10到50个时，可把pg_num设置为4096
pgp-num用于归置的归置组总数，一般等于归置组总数

#设置存储池配额
ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]

#删除存储池
ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]

#重命名存储池
ceph osd pool rename {current-pool-name} {new-pool-name}

#查看存储池统计信息
rados df

3、用户管理

#罗列用户
ceph auth list

#获取用户信息，包括用户密钥、能力（用户的权限）
ceph auth get {TYPE.ID}

#新增用户
##直接添加用户并指定能力
ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'

##常用的添加用户并指定能力，会以标准格式返回用户名称和key，如果用户已存在，会直接返回用户名和key
ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'

##在上条命令基础上，将返回保存到文件中
ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring

##添加用户并指定能力，只返回key，-o表示将返回保存到文件
ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key

#修改用户能力，ceph auth caps会覆盖当前能力，如果新增能力时注意在命令中加上当前能力
ceph auth caps USERTYPE.USERID {daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]' [{daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]']

#删除用户，其中 {TYPE} 是 client 、 osd 、 mon 或 mds 之一， {ID} 是用户名或守护进程的 ID
ceph auth del {TYPE}.{ID}

#查看用户密钥
ceph auth print-key {TYPE}.{ID}

#导入用户
ceph auth import -i /path/to/keyring