手动部署Ceph集群
我们创建了3台虚拟机，虚拟机配置如下
- 3块大小为2T的磁盘，sdb,sdc,sdd，用于启动osd进程
- 一块大小为600G的磁盘，作为osd的journal分区~~
集群配置如下
| 主机 | IP | 功能 |
|---|---|---|
| ceph-1 | 192.168.56.101 | mon1、osd0、osd1、osd2 |
| ceph-2 | 192.168.56.102 | mon2、osd3、osd4、osd5 |
| ceph-3 | 192.168.56.103 | mon3、osd6、osd7、osd8 |
配置NTP服务
将NTP server放在ceph-1节点上，ceph-2/3节点是NTP client，这样可以从根本上解决时间同步问题。
修改配置文件
从本机登录到ceph-1
修改/etc/ntp.conf,注释掉默认的四个server，添加三行配置如下：
vim /etc/ntp.conf
###comment following lines:
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
###add following lines:
server 127.127.1.0 minpoll 4
fudge 127.127.1.0 stratum 0
restrict 192.168.56.0 mask 255.255.0.0 nomodify notrap
修改/etc/ntp/step-tickers文件如下
# List of NTP servers used by the ntpdate service.
# 0.centos.pool.ntp.org
127.127.1.0
在重启ntp服务之前需要将防火墙关闭，否则客户端不能访问ntp服务
关闭防火墙
关闭selinux&firewalld
sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
启动ntp服务
重启ntp服务，并查看server端是否运行正常，正常的标准就是ntpq -p指令的最下面一行是*
[root@ceph-1 ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
*LOCAL(0) .LOCL. 0 l 15 16 1 0.000 0.000 0.000
NTP server端已经配置完毕，下面开始配置client端。
配置客户端ntp同步
同样的方式登录到ceph-2/ceph-3机器上：
修改/etc/ntp.conf，注释掉四行server，添加一行server指向ceph-1:
vim /etc/ntp.conf
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 192.168.56.101
重启ntp服务并观察client是否正确连接到server端，同样正确连接的标准是ntpq -p的最下面一行以*号开头
异常状态：
[root@ceph-3 ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
ceph-1 .LOCL. 1 u 5 64 3 0.551 -716.88 0.318
正常状态:
[root@ceph-3 ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
*ceph-1 .LOCL. 1 u 33 64 17 0.701 0.115 0.081
手动搭建ceph集群
手动部署mon集群
主mon节点部署 （192.168.56.101，ceph-1）
登录到ceph-1机器,
创建ceph用户与目录
新建一个脚本文件prepare_env.sh,然后写入以下内容：
/usr/sbin/groupadd ceph -g 167 -o -r
/usr/sbin/useradd ceph -u 167 -o -r -g ceph -s /sbin/nologin -c "Ceph daemons"
mkdir -p /etc/ceph/
chown -R ceph:ceph /etc/ceph/
mkdir -p /var/run/ceph
chown -R ceph:ceph /var/run/ceph
mkdir -p /var/log/ceph
chown -R ceph:ceph /var/log/ceph
mkdir -p /var/lib/ceph/mon
chown -R ceph:ceph /var/lib/ceph
创建ceph.conf文件
新建一个conf文件ceph.conf,然后写入以下内容：
[global]
fsid = c165f9d0-88df-48a7-8cc5-11da82f99c93
mon initial members = ceph-1
mon host = 192.168.56.101,192.168.56.102,192.168.56.103
rbd default features = 1
auth_cluster_required = none
auth_service_required = none
auth_client_required = none
public network = 192.168.56.0/24
cluster network = 192.168.56.0/24
osd journal size = 1024
osd pool default size = 3
osd pool default min size = 1
osd pool default pg num = 300
osd pool default pgp num = 300
osd crush chooseleaf type = 1
[mon]
mon allow pool delete = true
其中 fsid 是为集群分配的一个 uuid, 可使用uuidgen命令生成。初始化 mon 节点其实只需要这一个配置就够了。
mon host 配置 ceph 命令行工具访问操作 ceph 集群时查找 mon 节点入口。
ceph 集群可包含多个 mon 节点实现高可用容灾, 避免单点故障。
rbd default features = 1 配置 rbd 客户端创建磁盘时禁用一些需要高版本内核才能支持的特性。
- 拷贝这两个文件到ceph-2,ceph-3机器上
scp prepare_env.sh 192.168.56.102:/home
scp prepare_env.sh 192.168.56.103:/home
scp /etc/ceph/ceph.conf 192.168.56.102:/etc/ceph/
scp /etc/ceph/ceph.conf 192.168.56.103:/etc/ceph/
-
启动mon节点
首先执行脚本,创建ceph用户及相关目录。
sh prepare_env.sh1、为此集群创建密钥环、并生成Monitor密钥
[root@ceph-1 ~]# ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'2、生成管理员密钥环，生成
client.admin用户并加入密钥环[root@ceph-1 ~]# ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'3、把
client.admin密钥加入ceph.mon.keyring(3台机器一样)[root@ceph-1 ~]# ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring