(一) Ceph集群环境准备

Ceph集群环境准备

基于本机搭建ceph集群及cephfs、cephrgw、cephrbd服务。

集群规划

• 生产环境
  • 至少3台物理机组成Ceph集群
  • 双网卡
• 测试环境
  • 1台主机也可以
  • 单网卡也可以

本文使用虚拟机搭建集群，集群设置如下

• mon集群：
  • 3台虚拟机组成mon集群
• osd集群：
  • 3台虚拟机组成osd集群
  • 每台虚拟机上3个osd进程
• mgr集群：
  • 3个mgr进程

在部署之前，首先需要介绍前期环境的准备工作

• 软件准备：VirtualBox，CentOS
• 安装虚拟机 (省略)
• 克隆虚拟机

下载CentOS镜像

点击CentOS 7.5 镜像Minimal ，这里我们下载Minimal版本，后面操作的时候，我们直接通过配置虚拟机IP，使得本机可以直接ssh访问虚拟机进行操作

安装CentOS虚拟机

创建虚拟机

• 打开VirtualBox，点击新建，这时会新建一个虚拟机，命名为ceph-1,类型选择Linux，版本选择Other Linux
• 内存设置：默认值为1G，直接下一步即可
• 创建虚拟硬盘：选择创建VDI，然后下一步
• 存储在物理盘：这里有两个选项-动态分配或固定大小，这里选择动态分配

动态分配，这种方式下，创建一个2T的磁盘，实际只会占用计算机几十MB的空间，实际使用多少空间，才会占用多少空间，相当于用时分配。
固定大小，这种方式下，创建多大的盘就会占用多大的空间。

• 文件位置与大小：将空间大小设置为40G，这是用于系统盘

至此，虚拟机创建完成。

配置虚拟机

添加CentOS镜像

• 选择刚刚创建好的虚拟机，点击设置->存储->控制器:IDE->没有盘片，点击右侧的光盘按钮，将刚刚下载的CentOS的镜像添加进来

• 添加3个100G磁盘

  
  
  添加新磁盘

配置网络

• 点击设置-> 网络-> 网卡 1-> 连接方式 -> 仅主机(Host-only)网络，用于设置固定IP, 如下图所示
  
  网卡1
• 点击网卡2 -> 勾选启用网络连接 -> 连接方式 -> 网络地址转换(NAT) -> 界面名称 -> vboxnet0这里的vboxnet0是在上一步中添加的，用于给VM上网,如下图所示：
  
  网卡2

安装CentOS

步骤省略

配置网卡

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

改为一下内容

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s3"
UUID="c1bbc90c-e856-4539-bd3e-00fbcad3e2ff"
DEVICE="enp0s3"
ONBOOT="yes"
BOOTPROTO=static      # 改成static为静态， 默认是DHCP
IPADDR=192.168.56.101 # 静态IP地址
NETMASK=255.255.255.0 # 子网掩码
GATEWAY=192.168.56.2  # 网关IP
MM_CONTROLLED=yes
DNS1=114.114.114.114  # 设置DNS
DNS2=8.8.8.8          # 设置DNS2 以此类推

重启网卡

systemctl restart network
# 或者
/etc/init.d/network restart

修改主机名hostname

echo ceph-1 > /etc/hostname

然后重启机器，这样配置的hostname跟IP就会生效

修改yum源

这里将yum源修改成aliyun的源，指令如下:

yum clean all
curl http://mirrors.aliyun.com/repo/Centos-7.repo >/etc/yum.repos.d/CentOS-Base.repo
curl http://mirrors.aliyun.com/repo/epel-7.repo >/etc/yum.repos.d/epel.repo 
sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
yum makecache

安装软件

yum -y install wget ntp vim

虚拟机ceph软件安装

配置ceph源

vim /etc/yum.repos.d/ceph.repo

在/etc/yum.repos.d/目录下新增一个ceph源文件ceph.repo,并写入下面内容：

# 这里版本使用15.2.4
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.4/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.4/el7/noarch/
gpgcheck=0
[ceph-source]
name=ceph-source
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.4/el7/SRPMS/
gpgcheck=0

安装ceph

yum clean all && yum makecache
yum -y install yum-plugin-priorities 
yum -y install ceph ceph-radosgw

验证ceph是否安装完成：

[root@ceph-1 ~]# ceph -v
ceph version 15.2.4 (7447c15c6ff58d7fce91843b705a268a1917325c) octopus (stable)

克隆虚拟机

• 右键 -> 复制

• 修改名称

  
  
  修改名称

修改机器配置

登陆ceph-2
IP改为192.168.56.102 同上面
修改hostname

echo ceph-2 > /etc/hostname

登陆ceph-3
IP改为192.168.56.103 同上面
修改hostname

echo ceph-3 > /etc/hostname

最后，将各个主机的IP加入各自的/etc/hosts中:

vim /etc/hosts
# 添加一下内容
192.168.56.101 ceph-1
192.168.56.102 ceph-2
192.168.56.103 ceph-3

最后重启所有主机。