arm平台的ceph部署安装指导
arm平台的ceph部署安装指导
1 环境准备
OS安装类型：
CentOS-7.5-aarch64-1804。
注：操作系统安装使用最小简化版安装(如上图)，其余步骤安装一般安装操作系统步骤即可。
1.1 网络权限
安装Ceph所在服务器需开通外网权限（开通方法：向相应网络管理人员申请）
1.2 服务器配置
1.2.1 样例基础设备
IP（内网ip\弹性ip） OS 主机名 角色 硬盘数
192.168.0.78\172.31.96.64 CentOS7.5-arm64 ceph-1 deploy、mon1、osd1 40G2
192.168.0.187\172.31.96.59 CentOS7.5-arm64 ceph-2 mon1、osd1 40G2
192.168.0.59\172.31.96.27 CentOS7.5-arm64 ceph-3 mon1、osd1 40G*2
1.2.2 环境准备
a.添加主机节点域名（三台机器）
vi /etc/hosts
192.168.0.78 172.31.96.64 ceph-1
192.168.0.187 172.31.96.59 ceph-2
192.168.0.59 172.31.96.27 ceph-3
b.修改hoatname，分别在三台机器上执行
hostnamectl --static set-hostname ceph-1
hostnamectl --static set-hostname ceph-2
hostnamectl --static set-hostname ceph-3
c.关闭防火墙和开机自启动（三台机器）
systemctl stop firewalld
systemctl disable firewalld
d.节点时区同步，保持一致
e.关闭selinux（三台机器）
vi /etc/selinux/config
#修改SELINUX=disabled
f.配置dns
vi /etc/resolv.conf
nameserver 114.114.114.114
2 安装部署
2.1 三台机器上配置好CEPH的yum源
[ceph]
name=Ceph packages for aarch64
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/aarch64/
gpgcheck=0
[ceph-noarch]
name=Ceph-noarch packages for aarch64
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0
2.2 三台机器上安装CEPH客户端
yum install epel-release
yum makecache
yum -y install ceph ceph-radosgw
2.3 部署节点(ceph-1)安装ceph-deploy
yum -y install ceph-deploy
ceph-deploy --version
ceph –v
2.4 在部署节点(ceph-1) 生成ssh免登录key,并分发到其它两个节点
ssh-keygen -t rsa -P ‘’
ssh-copy-id ceph-2
ssh-copy-id ceph-3
2.5 创建部署目录，开始执行部署
mkdir -p /opt/ceph-cluster
cd /opt/ceph-cluster
ceph-deploy new ceph-1 ceph-2 ceph-3
若部署出现错误，需要重头开始：
ceph-deploy purge ceph-1 ceph-2 ceph-3
ceph-deploy purgedata ceph-1 ceph-2 ceph-3
ceph-deploy forgetkeys
rm ceph.*
2.6 配置public_network
vi /opt/ceph-cluster/ceph.conf
追加：public_network = 192.168.0.0/24
2.7 部署监控节点
ceph-deploy – mon create-initial
2.8 拷贝配置
ceph-deploy admin ceph-1 ceph-2 ceph-3
2.9 部署mgr
luminous之后mgr需要单独安装
ceph-deploy mgr create ceph-1
ceph-deploy mgr create ceph-2
ceph-deploy mgr create ceph-3
2.10 部署OSD节点
ceph-deploy osd create --data /dev/vdb ceph-1
ceph-deploy osd create --data /dev/vdb ceph-2
ceph-deploy osd create --data /dev/vdb ceph-3
2.11 检测集群状态
ceph –s
到此，一个简单的CEPH集群已搭建成功
FAQ
1 stderr: Physical volume ‘/dev/vdb’ is already in volume group ‘ceph-0ae0b9dc-cc2d-45ff-b804-92edcc3b71c7’
现象：运行ceph-deploy osd create --data /dev/vdb ceph-1
[ceph-1][WARNIN] stderr: Physical volume ‘/dev/vdb’ is already in volume group ‘ceph-0ae0b9dc-cc2d-45ff-b804-92edcc3b71c7’
[ceph-1][WARNIN] Unable to add physical volume ‘/dev/vdb’ to volume group ‘ceph-0ae0b9dc-cc2d-45ff-b804-92edcc3b71c7’
原因：可能之前运行过此任务，导致/dev/vdb已经加入了卷组
解决：vgremove ceph-0ae0b9dc-cc2d-45ff-b804-92edcc3b71c7
2 [errno 2] error connecting to the cluster
现象：[errno 2] error connecting to the cluster
原因：ceph.client.admin.keyring 文件未被同步到/etc/ceph下
解决：此问题有以下两种解决方式
1.ceph-deploy admin ceph-1 ceph-2 ceph-3
2. find / -name ceph.client.admin.keyring
将找到的ceph.client.admin.keyring文件copy到三台机器的/etc/ceph下