CentOS 安装ceph

一、在3台主机分别进行修改主机名

需要修改以下两个配置文件
1、方法一使用hostnamectl命令
[root@ceph1 ~]# hostnamectl set-hostname ceph1

2、方法二：修改配置文件 /etc/hostname 保存退出
[root@ceph1 ~]# vi /etc/hostname
ceph1

三台主机名分别ceph1、ceph2、ceph3

二、 安装Ceph ，准备repo

在ceph1、ceph2、ceph3上分别进行以下步骤:
a.设置代理
在/etc/profile末尾添加代理地址后重启系统
export http_proxy=http://proxyxxx.com:911
export ftp_proxy=http://proxyxxx.com:911
export HTTP_proxy=http://xxx.intel.com:911
export FTP_proxy=http://xxx.intel.com:911

b.在所有ceph节点上准备下面的源
yum clean all
cp –rf /etc/yum.repos.d/ /root/Desktop/yum.repos.d_backup
rm -rf /etc/yum.repos.d/*.repo
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i ‘/aliyuncs/d’ /etc/yum.repos.d/CentOS-Base.repo
sed -i ‘/aliyuncs/d’ /etc/yum.repos.d/epel.repo
sed -i ‘s/$releasever/7/g’ /etc/yum.repos.d/CentOS-Base.repo

c.创建ceph.repo源
touch /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
priority=1

[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
priority=1

d.升级所有包同时也升级软件和系统内核
yum update –y

三、操作系统配置

a:无密码访问配置
在deploy节点(ceph1)上执行。配置deploy节点和其他ceph节点之间的无密码访问。
[root@ceph1 ceph]# ssh-keygen （一直回车即可）
[root@ceph1 ceph]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@ceph2 （根据提示输入ceph2的root密码）
[root@ceph1 ceph]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@ceph3（根据提示输入ceph3的root密码）

b:启用Ceph monitor OSD端口，在所有ceph节点上执行
firewall-cmd --zone=public --add-port=6789/tcp --permanent
firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent \ 添加防火墙策略
firewall-cmd --reload \使其防火墙策略生效
firewall-cmd --zone=public --list-all

c:禁用Selinux，在所有ceph节点上执行

1. 临时禁用
   setenforce 0
   2.永久禁用

重启系统使其生效
[root@ceph1 ceph]# getenforce
Disabled
d:安装ntp，在所有ceph节点上执行
yum install ntp ntpdate -y
systemctl restart ntpd.service
systemctl enable ntpd.service ntpdate.service

四、部署Ceph集群

1:安装ceph-deploy（在ceph1/ceph2/ceph3上分别执行）
  yum install ceph-deploy -y

2:用Ceph-deploy创建Ceph集群（在ceph1上分别执行）
  mkdir /etc/ceph
  cd /etc/ceph
  ceph-deploy new ceph-node1
  生成一个新的ceph集群，集群包括ceph配置文件以及monitor的密钥环。

3:安装ceph二进制软件包（在ceph1/ceph2/ceph3上分别执行）
  ceph1上执行   ceph-deploy install --no-adjust-repos ceph1 
  ceph2上执行   ceph-deploy install --no-adjust-repos ceph2
  ceph3上执行   ceph-deploy install --no-adjust-repos ceph3
#4:修改ceph 配置文件systemctl 

5:在ceph1上创建第一个ceph monitor
  ceph-deploy mon create-initial

6:在ceph1上创建OSD
  ceph-deploy disk list ceph1(列出disk）
  ceph-deploy disk list ceph2       
  ceph-deploy disk list ceph3

  ceph-deploy disk zap ceph1:nvme0n1
  ceph-deploy disk zap ceph2:nvme0n1
  ceph-deploy disk zap ceph3:nvme0n1

  ceph-deploy osd create ceph1:nvme0n1
  ceph-deploy osd create ceph2:nvme0n1
  ceph-deploy osd create ceph3:nvme0n1
 
 7:在ceph1上调整rbd存储池的pg_num和pgp_num
  ceph osd pool set rbd pg_num 256
  ceph osd pool set rbd pgp_num 256