Ubuntu14.04部署CEPH

CEPH简介

CEPH是一种已经震撼了整个存储行业的最热门的软件定义存储技术（SoftwareDefined Storage,SDS）。它是要给开源项目，为块存储、文件存储和对象存储提供了统一的软件定义解决方案。CEPH旨在提供一个扩展性强大、性能优越且无单点故障的分布式存储系统。从一开始，CEPH就被设计为能在通用商业硬件上运行，并且支持高度扩展（逼近甚至超过艾字节的数量）。

                                                                                                 《Ceph Cookbook》      

一、环境准备

Ubuntu14.04共3台，并安装ssh服务：apt-get installopenssh-server

192.168.0.100：node1作为部署节点和monitor节点。

192.168.0.101：node2作为osd设备 0 ，挂载一个20G的硬盘

192.168.0.102：node3作为osd设备 1 ，挂载一个20G的硬盘

二、分别修改这三台设备的源,将apt的源文件替换成如下地址，因为国内的源下载速度比较快。

root@ node1:~# cat /etc/apt/sources.list

deb http://mirrors.aliyun.com/ubuntu/ trusty mainrestricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-securitymain restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-updates mainrestricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-proposedmain restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-backportsmain restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty mainrestricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-securitymain restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updatesmain restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposedmain restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/trusty-backports main restricted universe multiverse

root@ node1:~#  apt_get update

root@ node1:~#

三、开始部署

   1、分别为每台设备创建ceph用户，添加root权限。

useradd -d /home/ceph -m ceph

passwd ceph

echo "ceph ALL = (root)NOPASSWD:ALL" | tee /etc/sudoers.d/ceph
    chmod0440 /etc/sudoers.d/ceph

2、修改每个节点的主机名hostnamectlset-hostname $HOSTNAME。并修改每台机器的host文件 （做一个硬解析），修改后可以通过名字访问各个设备。

root@node1:~/ceph-cluster#cat /etc/hosts

127.0.0.1 localhost

127.0.1.1 ubuntu14

#The following lines are desirable for IPv6 capable hosts

::1 localhostip6-localhost ip6-loopback

ff02::1ip6-allnodes

ff02::2ip6-allrouters

    192.168.0.100 node1

     192.168.0.101 node2

     192.168.0.102 node3

3. 安装ceph-deploy(只在管理节点上执行)

wget -q -O-'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudoapt-key add -
echo deb http://ceph.com/debian-giant/ $(lsb_release -sc) main | sudotee /etc/apt/sources.list.d/ceph.list
sudo apt-get update
sudo apt-get install ceph-deploy

安装发生意外？提示以下信息：

python-setuptoolsbut it is not going to be installed

表示当前ceph-deploy依赖于 Python-setuptools，尝试安装Python-setuptools ，使用命令：agt-get installpython-setuptools

再次发生意外提示：

python-pkg-resources(= 3.3-1ubuntu1) but 3.3-1ubuntu2 is to be installed

这次说明已经安装的Python版本出现了不支持现象，先卸载已经安装的Python，使用命令：agt-getremove python

卸载后再次尝试安装python-setuptools，

再次使用命令：agt-getinstall python-setuptools

最后再次尝试安装ceph-deploy：

使用命令：sudoapt-get install ceph-deploy

发现这次可以成功安装ceph-deploy。

4、 用无密码的SSH连接到每个Ceph节点来配置你的ceph-deploy 管理节点. 保留密码为空。

      创建密钥，提示输入的时候全部enter建。

     ssh-keygen

将密钥拷贝到其他osd设备上去。

     ssh-copy-id ceph@node1

       ssh-copy-idceph@node2

     ssh-copy-id ceph@node3

5、 修改你的ceph-deploy管理节点的~/.ssh/config 文件使它能像你创建的用户(比如, ceph)一样记录至Ceph节点 .可能不存在 这个配置文件，但是你可以创建一个这样的配置文件。配置文件中的内容如下：

root@node1:~/ceph-cluster# cat ~/.ssh/config

Hostnode1

Userceph

Hostnode2

Userceph

Hostnode3

Userceph

6、创建一个自己的集群目录

mkdir ceph-cluster

cd ceph-cluster

7、创建一个新的集群（最后一个参数为100的hostname）

ceph-deploy  new  cephmon

8、修改配置文件 ceph.conf

osdpool default size = 3   -----》设置副本个数，不建议超过osd数量

osdpool default min size = 1 --->设置可写最小副本个数

osdpool default pg num = 333   ---》设置pool的pg个数

osd pool default pgp num = 333  --》设置pool的pgp_num个数

9、分别在所有的设备上安装ceph

ceph-deploy install node1 node2 node3

     注意安装时可能会提示：

404  Not Found [IP: 91.189.91.14 80]

根据错误信息，定位是那一台设备除了问题，在该设备上输入命令确认：sudo apt-get install ceph，确认问题仍然是这个，需要更新apt-get，执行命令apt-get update。执行完成后 再次使用命令sudo apt-get install ceph。完成通过，说明问题解决。

注意：如果实在安装不上，则在每个节点上分别执行以下命令：

 wget -q -O-'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudoapt-key add -
echo debhttp://ceph.com/debian-giant/ $(lsb_release -sc) main | sudo tee/etc/apt/sources.list.d/ceph.list
sudo apt-get update
sudo apt-get install ceph

10、在100上创建监视线程，并且初始化：

ceph-deploy mon create-initial

11、修改密钥文件权限：

 chmod 777ceph.client.admin.keyring

sudo chmod 777 /etc/ceph/ceph.client.admin.keyring

12、列出osd0,osd1上面可以用的磁盘：

ceph-deploy disk list node2 node3

13、格式化osd0，osd1上的磁盘为xfs，并创建线程。

ceph-deploy disk  zap node1:/dev/sdb

ceph-deploy osd create  node1:/dev/sdb

ceph-deploy disk  zap node2:/dev/sdb

ceph-deploy osd create  node2:/dev/sdb

14、拷贝配置文件到每一台机器上

ceph-deploy admin node1 node2 node3

         sudochmod +r /etc/ceph/ceph.client.admin.keyring

15. 查看ceph的安装状态：

ceph  -s

 

注意：后续想添加客户机或者安装radosgw，可在此基础上进行。