ceph分布式存储环境的搭建

（一）规划设计

软件：VMWare workstation

硬件：PC机一台

节点名称	IP地址	系统版本	部署进程	数据盘
Ceph1	192.168.150.11	Centos-7-x86_64	MON+mgr+OSD	/dev/sdb
Ceph2	192.168.150.12	Centos-7-x86_64	MON+mgr+OSD	/dev/sdb
Ceph3	192.168.150.13	Centos-7-x86_64	MON+mgr+OSD	/dev/sdb
Client	192.168.150.10	Centos-7-x86_64	客户端

表中各部分配置说明如下：

1. 虚拟机网卡使用NAT模式，以便连接网络，同时避免地址冲突。
2. 部署进程中的MON表示monitor监视器，要求部署个数为2N+1个；OSD表示objectstorage存储磁盘，mgr表示管理器。

每个MON都兼职做OSD，所以我们安装三个ceph节点时需要在上面添加一块磁盘sdb

（二）环境准备

首先修改修改三个ceph集群的主机及客户端名称

  # hostnamectl set-hostname ceph1

  # hostnamectl set-hostname ceph2

  # hostnamectl set-hostname ceph3

  # hostnamectl set-hostname client

在准备好的三个节点和客户端 client上分别进行下述操作

1.关闭防火墙

  #service firewalld stop

  #chkconfig firewalld off

  #sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

  #setenforce 0

2.修改网卡配置文件

  以ceph1节点为例

  #vi /etc/sysconfig/network-scripts/ifcfg-ens33

 

3.重启网络服务

  #systemctl restart network

4.检查网络是否配置成功

5.配置yum源文件

  # wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

 # wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

6.配置hosts文件

 三个ceph集群的主机及客户端都要配置

●要确保四台主机hosts文件一致

7.安装 chronny服务

client节点和三个集群节点分别安装Chrony服务

  #yum -y install chrony

在client节点编辑chrony.conf配置文件

  #vim /etc/chrony.conf

找到server字段，在所有默认的server前加“#”注释，并添加国内时钟服务器，配置允许参与同步的网段。

  

在其他三个节点编辑chrony.conf配置文件，在所有默认的“server”前加“#”注释， 

并添加本地时钟服务器（以ceph1节点为例）。

在所有的节点启动chrony服务，并设置开机自启。

  #systemetl restart chronyd

  # systemctl enable chronyd

查看同步情况。

8.配置ceph使用的yum源。

 在三个节点分别配置ceph.repo文件。

  #vim /etc/yum.repos.d/ceph.repo

9.安装python支持组件。

 为防止后续python支持环境出现问题，在三个节点上分别安装

  #yum install -y python-pip

10.配置五密码连接。

 在ceph1上，可以设置无密码访问其他节点。

  # ssh-keygen

 

 按四次Enter键，进行无密码访问。

  # ssh-copy-id root@ceph2

 在询问是否连接到ceph2节点的提示信息下，输入“yes”进行确认。

 接下来按提示输入ceoh2的登陆密码。

 接下来访问ceph3。

  # ssh-copy-id root@ceph3

 在询问是否连接到ceph3节点的提示信息下，输入“yes”进行确认。

 接下来按提示输入ceoh3的登陆密码。

（三）部署Ceph集群

1.安装部署软件。

 在节点ceph1安装

  # yum -y install ceph-deploy

2．创建工作目录。

后续进行创建集群、安装软件包、初始化服务、创建OSD等操作时，必须创建工作目录。

  # mkdir ceph-cluster

  # cd ceph-cluster

3.创建集群并安装软件。

  # ceph-deploy new ceph{1,2,3}

  #ceph-deploy install ceph1  ceph2  ceph3

4.初始化部署monitor。

  #ceph-deploy mon create ceph{1,2,3}

  # ceph-deploy mon create-initial

  #ceph mon_status 检查部署情况

5.共享管理密钥

 用ceph-deploy把配置文件和admin密钥复制到管理节点和Ceph节点，这样每次执行Ceph命令行时就无须指定monitor地址和ceph.client,admin.keyring。

  # ceph-deploy admin cephl ceph2 ceph3

 修改密钥权限。

  #sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

6.创建OSD。

  #ceph-deploy osd create ceph1 --data /dev/sdb

  #ceph-deploy osd create ceph2 --data /dev/sdb

  #ceph-deploy osd create ceph3 --data /dev/sdb

创建完成可以查看OSD。

  #ceph-deploy osd list cephl ceph2 ceph3

7.创建mgr。

  #ceph-deploy mgr create cephl ceph2 ceph3

8.验证测试。

  # ceph health

 正常情况将显示“HEALTH_OK”

  #ceph -s

（四）开启Dashboard

  Ceph从 Luminous开始，提供了原生的 Dashboard功能，通过Dashboard可以获取Ceph集群的各种状态信息，从Mimic里实现了Dashboard V2版本，提供了更全面的Ceph展示和管理功能。

1.查看ceph状态。

首先查看ceph状态，找出active的mgr,这里active mgr是cephl。

  # ceph -s

  mgr: cephl (active), standbys: ceph2, ceph 3

2.生成自签名证书和秘钥。

  # ceph dashboard create-self-signed-cert

  self-signed certificate created

生成key pair,并配置给ceph mgr。

  # mkdir mgr-dashboard

  # cd mgr-dashboard/

  # openssl req -new -nodes -x509 -subj”/o=IT/CN=ceph-mgr-dashboard” -days 3650 -keyout dashboard.key -out dashboard.crt-extensions v3_ca

3．启用 dashboard 插件。

  # ceph mgr module enable dashboard

4．配置 dashboard 地址和端口。

  # ceph config set mgr mgr/dashboard/server_addr 192.168.150.11

  set mgr/dashboard/server_addr

  #ceph config set mgr mgr/dashboard/server_port 8888

  set mgr/dashboard/server_port

查看 dashboard服务。

  # ceph mgr services

5.配置 dashboard 认证密码。

  # ceph dashboard set-login-credentials admin 123456

  Username and password updated

  访问ceph的dashboard。Dashboard面板显示当前ceph集群状态信息

 

登录ceph后