在centos6.x部署cephfs

关闭selinux、iptables

cephfs是一种分布式文件系统，部署节点主要包括

mon 监控节点

osd 存储节点

mds 元数据节点

详细信息请参考：http://docs.ceph.org.cn/start/intro/

本环境使用4台服务器进行试验：

192.168.0.100 ceph1 作为admin、mon节点

192.168.0.101 ceph2 作为osd0节点

192.168.0.102 ceph3 作为osd1节点

192.168.0.103 ceph4 作为mds节点

1、配置yum源

在centos6.5中部署cephfs被yum源问题搞到崩溃，特别记录自己找到的中科大的源。

cat /etc/yum.repos.d/ceph.repo

 [epel]
 name=Extra Packages for Enterprise Linux 6 - $basearch
 baseurl=http://centos.ustc.edu.cn/epel/6/$basearch
 
 
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch 
 
 
failovermethod=priority
 enabled=1
 gpgcheck=1
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
 
 
[epel-debuginfo]
 name=Extra Packages for Enterprise Linux 6 - $basearch - Debug
 baseurl=http://centos.ustc.edu.cn/epel/6/$basearch/debug
 
 
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-debug-6&arch=$basearch 
 
 
failovermethod=priority
 enabled=0
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
 gpgcheck=1
 
 
[epel-source]
 name=Extra Packages for Enterprise Linux 6 - $basearch - Source
 baseurl=http://centos.ustc.edu.cn/epel/6/SRPMS
 
 
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-source-6&arch=$basearch 
 
 
failovermethod=priority
 enabled=0
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
 gpgcheck=1
 

在安装时可能会出现无法解析centos.ustc.edu.cn域名的问题，故在/etc/hosts配置dns解析

202.141.160.110 centos.ustc.edu.cn

安装ceph若出现：GPG key retrieval failed: [Errno 14] Could not open/read file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 请在yum后加入--nogpgcheck选项

2、安装ceph-deploy

yum clean all

yum install -y ceph-deploy

配置hosts文件。

 192.168.0.100 ceph1
 192.168.0.101 ceph2
 192.168.0.102 ceph3
 192.168.0.103 ceph4
 

使admin节点机器可以免密登录所有其他节点服务器。

ssh-keygen -t rsa

ssh-copy-id

在管理节点创建目录用来存放cephfs配置文件等，切换到此目录。

mkdir /web/ceph

cd /web/ceph

ceph-deploy命令均在admin节点的/web/ceph目录下执行

ceph-deploy new ceph

修改osd默认节点数。注：ceph中osd默认节点数为3。在ceph.conf内添加以下内容。

osd pool default size = 2

3、在所有节点安装ceph

ceph-deploy install ceph1 ceph2 ceph3 ceph4

如果安装报错，把yum源拷贝到每个单独节点，并到每个节点下单独执行。记得配置hosts哦!

yum clean all

yum install -y ceph --nogpgcheck

初始化监控节点并收集keyring

ceph-deploy mon create-initial

4、创建存储节点

ceph2

mkdir /web/osd0

ceph3

mkdir /web/osd1

开启osd进程并激活

ceph-deploy osd prepare ceph2:/web/osd0 ceph3:/web/osd1

ceph-deploy osd activate ceph2:/web/osd0 ceph3:/web/osd1

把管理节点的配置文件与keyring同步至其它节点:

ceph-deploy admin ceph1 ceph2 ceph3 ceph4

健康检查：

ceph health

出现：HEALTH_OK 表明安装OK

或者使用下面命令进行检查：

ceph -s

5、创建元数据节点

ceph-deploy mds create ceph4

再次进行健康检查

6、用内核驱动挂载cephfs

检查没问题后，即可挂载到要使用的服务器上。注：有些系统内核版本过低，可能导致挂载不了。

由于开启了cephx 需要进行认证

mount -t ceph 192.168.0.100:6789:/ /mnt/data -o name=admin,secret=AQC8qVhYSAiJNRAANSxRnaGGa5mGySOc9KZw==

认证密钥在：ceph.client.admin.keyring 文件内，如果不使用密钥，会报以下错误

mount error 22 = Invalid argument

否则可以直接使用以下命令进行挂载

mount -t ceph 192.168.0.100:6789:/ /mnt/data