上面左边是我的个人微信，如需进一步沟通，请加微信。  右边是我的公众号“Openstack私有云”，如有兴趣，请关注。


引言

    Ceph提供非凡的数据存储可扩展性 - 数以千计的客户端主机或KVM访问PB级到数据级的数据。它为应用程序提供对象存储、块存储、文件系统，存储在一个统一的存储集群中 。Ceph是开源产品可以免费使用，可以部署在经济实惠的商用服务器上。


环境：

系统centos7.4

ceph版本 ceph version 10.2.10

测试服务器为kvm虚拟机（openstack虚拟机）


本篇文章是记录下自己的部署过程，服务器使用kvm虚拟机，只测试功能，服务器分配如下

节点 服务 cluster network
ceph-1(admin-node) osd.{1,2,},mon.ceph-1 eth0:192.168.1.161/24
ceph-2 osd.{3,4},mon.ceph-2 eth0:192.168.1.162/24
ceph-3 osd.{5,6},mon.ceph-3 eth0:192.168.1.163/24

每个节点在原来系统盘的基础上增加2块osd盘/dev/vdb 、/dev/vdc，集群共有6个osd进程，3个monitor进程。管理节点用作执行ceph-deploy命令，使用ceph-1节点充当。

环境预检

部署集群之前，需要进行环境准备，这些步骤应当设置于集群所有节点

配置免登陆访问

生成ssh-key

# ssh-keygen

对需要访问的机器进行认证

# ssh-copy-id root@ceph-2   //拷贝到所有节点

关闭防火墙

# systemctl stop firewalld

关闭防火墙自启动

# systemctl disable firewalld

关闭selinux

# setenforce 0

关闭selinux的自启动

# vim /etc/selinux/config

SELINUX=disabled

ntp同步

各osd节点间需要设置时间同步，节点时钟偏差过大会引起pg异常

yum install -y ntp

设置时区为上海：

timedatectl set-timezone Asia/Shanghai

在ntpserver的机器上写入配置文件

# vim /etc/ntp.conf

restrict default nomodify

server  127.127.1.0    

fudge   127.127.1.0 stratum 8

# systemctl start ntpd


在需要同步时间的客户端机器上修改配置文件

# vim /etc/ntp.conf

driftfile /var/lib/ntp/drift

server ceph-1

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys


ntp客户端同样要启动这个服务

# systemctl start ntpd


检查机器的ntp服务

# ntpq -p

注意：如果使用ntpdate 手动同步，需要先将ntpd服务停止。

hostname设置

Cluster Map中会使用主机hostname作为名称表示，因此hostname需要提前规划

hosts添加

每个节点都添加集群所有节点的hosts，ceph.conf配置文件中会使用到，如下是3个节点的hosts

# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.161 ceph-1
192.168.1.162 ceph-2
192.168.1.163 ceph-3

配置ceph源

base和epel源使用阿里源

# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 

#wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

或者163的源： 

# wget -O  /etc/yum.repos.d/CentOS-Base-163.repo http://mirrors

不要指望使用ceph官方源，这里需要使用国内第三方源，比如163的ceph源

#cat /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
enabled=1
gpgcheck=1
priority=2
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=1
priority=2
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS/
enabled=0
gpgcheck=1
priority=2
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

注意这里priority可以设置yum源的优先级，如果你其它源中也有ceph软件包，需要保证这里的ceph.repo的优先级priority比其它的高(值越小越高)，为此需要安装下面这个软件包，用以支持yum源的优先级

yum -y install yum-plugin-priorities

下面这些依赖包也需要在每个节点都安装

yum install -y yum-utils snappy leveldb gdiskpython-argparse gperftools-libs ntpdate

内核调整

osd进程可以产生大量线程，如有需要，可以调整下内核最大允许线程数

vi /etc/sysctl.conf 
kernel.pid_max = 4194303

# echo 'kernel.pid_max = 4194303' >>/etc/sysctl.conf

安装ceph-deploy工具

ceph-deploy是ceph官方提供的部署工具，它通过ssh远程登录其它各个节点上执行命令完成部署过程，我们可以随意选择一台服务器安装此工具，为方便，这里我们选择ceph-1节点安装ceph-deploy

我们把ceph-1节点上的/data/ceph/deploy目录作为ceph-deploy部署目录，其部署过程中生成的配置文件，key密钥，日志等都位于此目录下，因此下面部署应当始终在此目录下进行

yum install ceph-deploy -y

mkdir -p /data/ceph/deploy

ceph-deploy工具默认使用root用户SSH到各Ceph节点执行命令。为了方便，已经配置ceph-deploy免密码登陆各个节点。如果ceph-deploy以某个普通用户登陆，那么这个用户必须有无密码使用sudo的权限。

安装ceph集群

ceph软件包安装

首先安装ceph软件包到三个节点上。上面我们已经配置好ceph源，因此这里使用--no-adjust-repos参数忽略设置ceph源

# ceph-deploy install --no-adjust-repos ceph-1 ceph-2 ceph-3

创建ceph集群

# ceph-deploy new ceph-1 ceph-2 ceph-3
#上步会创建一个ceph.conf配置文件和一个监视器密钥环到各个节点的/etc/ceph/目录，ceph.conf中会有`fsid`，`mon_initial_members`，`mon_host`三个参数 
#默认ceph使用集群名ceph

Ceph Monitors之间默认使用6789端口通信， OSD之间默认用6800:7300 范围内的端口通信，多个集群应当保证端口不冲突

配置文件

修改ceph-deploy目录/data/ceph/deploy下的ceph.conf

#/data/ceph/deploy/ceph.conf添加如下参数  
osd_journal_size = 5120 
osd_pool_default_size = 2
osd_pool_default_min_size=1

journal默认5G建议1TB数据5G，4T盘设置20G，这个影响性能的

添加mons

我们这里创建三个Monitor

cd /data/ceph/deploy
ceph-deploy mon create ceph-1 ceph-2 ceph-3
#上面命令效果如下
#1.write cluster configuration to /etc/ceph/{cluster}.conf
#2.生成/var/lib/ceph/mon/ceph-ceph-1/keyring
#3.systemctl enable ceph-mon@ceph-1
#4.systemctl start ceph-mon@ceph-1

在一主机上新增监视器时，如果它不是由ceph-deploy new命令所定义的，那就必须把public network加入 ceph.conf配置文件

key管理

为节点准备认证key

ceph-deploy gatherkeys ceph-1 ceph-2 ceph-3
#若有需要，可以删除管理主机上、本地目录中的密钥。可用下列命令：#ceph-deploy forgetkeys

osd创建

创建集群，安装ceph包，收集密钥之后，就可以创建osd了

ceph-deploy osd create ceph-1:vdb ceph-1:vdc ceph-2:vdb ceph-2:vdc ceph-3:vdb ceph-3:vdc  
#可以create多个osd
#如果使用单独的journal盘，可以用这种格式：ceph-1:vdb:/dev/vdf ，意思是在ceph-1上创建一个osd，使用磁盘vdb作为数据盘，osd journal分区从vdf磁盘上划分

每个节点上2个osd磁盘vd{b,c}。如果使用单独的日志盘，一般使用同一个日志盘比如/dev/vdf，使用prepare过程中ceph会自动在/dev/vdf上创建相应的日志分区供osd使用，日志分区的大小由上步骤osd_journal_size 指定
prepare 命令只准备 OSD。在大多数操作系统中，硬盘分区创建后，不用 activate 命令也会自动执行 activate 阶段（通过 Ceph 的 udev 规则）

activate 命令会让 OSD 进入 up 且 in 状态，此命令所用路径和 prepare 相同。在一个节点运行多个OSD 守护进程、且多个 OSD 守护进程共享一个日志分区时，你应该考虑整个节点的最小 CRUSH 故障域，因为如果这个 SSD 坏了，所有用其做日志的 OSD 守护进程也会失效

我们这里直接使用create命令，相当于是prepare + activate

允许3台主机以管理员权限执行 Ceph 命令

ceph-deploy admin ceph-1 ceph-2 ceph-3

需要注意，以上的ceph-deploy命令始终在同一个目录/data/ceph/deploy 下执行，否则会出现配置文件不一致的问题。

最后查看集群状态：

[root@ceph-1 deploy]# ceph -w
    cluster 87fd3c2d-7d79-4857-bebe-bc584dcf7dd6
     health HEALTH_WARN
            too few PGs per OSD (21 < min 30)
     monmap e2: 3 mons at {ceph-1=192.168.1.161:6789/0,ceph-2=192.168.1.162:6789/0,ceph-3=192.168.1.163:6789/0}
            election epoch 8, quorum 0,1,2 ceph-1,ceph-2,ceph-3
     osdmap e31: 6 osds: 6 up, 6 in
            flags sortbitwise,require_jewel_osds
      pgmap v61: 64 pgs, 1 pools, 0 bytes data, 0 objects
            201 MB used, 209 GB / 209 GB avail
                  64 active+clean
2018-05-24 14:48:31.947364 mon.0 [INF] pgmap v61: 64 pgs: 64 active+clean; 0 bytes data, 201 MB used, 209 GB / 209 GB avail

ceph-deploy常用命令

  • 允许一主机以管理员权限执行 Ceph 命令

ceph-deploy admin {host-name [host-name]...}
#拷贝ceph.conf和client.admin.keyring到远程主机上

  • 把改过的配置文件分发给集群内各主机

ceph-deploy --overwrite-conf config push node{1..3}

  • ceph-deploy执行后的清除

#卸载指定节点上的ceph软件包  
ceph-deploy uninstall {hostname [hostname] ...}
#清除数据   
#如果只想清除 /var/lib/ceph下的数据、并保留Ceph安装包
ceph-deploy purgedata {hostname} [{hostname} ...]
#要清理掉 /var/lib/ceph 下的所有数据、并卸载 Ceph 软件包
ceph-deploy purge {hostname} [{hostname} ...]

  • 清除磁盘操作

#查看某节点上所有磁盘
ceph-deploy disk list {node-name [node-name]...}
#清除指定磁盘上的分区，用于重装ceph集群
#ceph-deploy disk zap {osd-server-name}:{disk-name}
例如： ceph-deploy disk zap ceph-1:/dev/vdb

  • monitor操作

#从某个节点上移除Ceph MON进程
ceph-deploy mon destroy {host-name [host-name]...}
#ceph集群至少需要一个mon进程，但一个mon进程无法保证高可靠性。确保你删除一个监视器后，集群仍能正常工作。

总结

    通过ceph-deploy命令基本上可以很方便快捷的搭建一套ceph集群，在使用之前主要是需要规划好主机名和网络，实际生产环境中应该要考虑ceph的cluster网络和业务网络分离，需要有2个网口。在安装之前有一些预配置比较繁琐，主要是主机间的ssh互信、时间同步、防火墙、yum源更改到国内等。

    ceph-deploy 部署过程主要是：

  •     安装ceph 软件包：

ceph-deploy install ceph-1 ceph-2 ceph-3

  •     创建集群：

ceph-deploy new ceph-1 ceph-2 ceph-3

  •     安装mon：

ceph-deploy mon create  ceph-1 ceph-2 ceph-3

  •     准备认证key：

ceph-deploy gatherkeys  ceph-1 ceph-2 ceph-3

  •     创建osd：

ceph-deploy create osd  ceph-1 ceph-2 ceph-3

  •     赋予主机管理权限：

ceph-deploy admin  ceph-1 ceph-2 ceph-3


    如果忘了子命令，可以通过加-h 查看。