Ceph学习1——Ubuntu12.04手动安装Ceph&&部署Ceph集群
菜鸟接触Ceph有段时间了，总说要整理所学，一直懒，没有执行，这篇算是开始吧。
有人会觉得Ceph-depoly安装比较方便，中间其实会出现一些问题，我最开始用的是手动安装，就此记录一下。
集群节点信息：
Part one:安装Ceph（在集群中每个节点上都要安装ceph）
1.添加release.asc秘钥，执行：
wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add –
2.在安装源里添加ceph的源
vim /etc/apt/sources.list
此例中将安装ceph firefly版本，所以在源里添加。（PS：保证你的源足够快，不然等着很捉急。）
deb http://ceph.com/debian-firefly/ precisemain
deb-src http://ceph.com/debian-firefly/precise main
3.开始安装ceph
apt-get update && apt get install ceph
接下来等一会就安装完成了。不得不说apt-get install很省事。
4.装完之后，可以用ceph –v查看版本号
Part two:手动配置一个集群
a.配置一个monitor
在安装了ceph的任何一个节点上，此处将192.168.50.191配置为集群monitor。
1.为集群生成一个uuid号
执行：uuidgen
本例得到集群的ID号为30b17314-bcbf-420c-ab48-8bab6bacfc08
2.添加配置文件
vim /etc/ceph/ceph.conf
内容为：
[global]
fsid = 30b17314-bcbf-420c-ab48-8bab6bacfc08
mon initial members = node1
mon host = 192.168.50.191
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
filestore xattr use omap = true
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1
3.给集群创建一个秘钥产生一个monitor秘钥
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
4.产生一个管理员秘钥，生成一个client.admin用户并把该用户添加到秘钥里。
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'
5.把client.admin秘钥添加到ceph.mon.keyring中
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
6.产生monitor映射图
monmaptool --create --add {hostname} {ip-address} --fsid {uuid} /tmp/monmap
本例中：
monmaptool --create --add mon11 192.168.50.191 --fsid 30b17314-bcbf-420c-ab48-8bab6bacfc08 /tmp/monmap
7.创建一个数据目录
mkdir /var/lib/ceph/mon/{cluster-name}-{hostname}
本例中执行：
mkdir /var/lib/ceph/mon/ceph-mon11
8.用monitor映射图和秘钥分发monitordaemon
ceph-mon --mkfs -i mon11 --monmap/tmp/monmap --keyring /tmp/ceph.mon.keyring
9.开启monitor服务
start ceph-mon id=mon11
执行ceph –s查看集群健康状态
至此集群中的一个Monitor就添加好了！
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
b.添加两个OSD
有了Monitor，接下来就是添加osd了，OSD是对象存储设备，找两块硬盘，配置成OSD即可。本例是在节点 192.168.50.192上用两块硬盘作为OSD。PS:这个节点也先装上Ceph。
把Monitor的ceph配置文件拷贝到OSD节点的同一目录下，即/etc/ceph/ceph.conf。配置OSD步骤是最少的，两条命令搞定。
Command1：
ceph-disk prepare --cluster {cluster-name} --cluster-uuid {uuid} --fs-type {ext4|xfs|btrfs} {data-path} [{journal-path}]
本例中执行：ceph-disk prepare --cluster-uuid 30b17314-bcbf-420c-ab48-8bab6bacfc08 --fs-type ext4 /dev/sdb1
在执行命令2时，OSD节点上需要有bootstrap-osd秘钥，把monitor的/var/lib/ceph/bootstrap-osd/{cluster}.keyring拷贝到OSD所在节点上。{cluster}为集群名，此例中为ceph，即/var/lib/ceph/bootstrap-osd/ceph.keyring。如果是在Monitor节点上的两块盘作为OSD，此步骤则不需要。
Command2：
ceph-disk activate {data-path}[--activate-key {path}]
本例中执行：ceph-disk activate /dev/sdb1
以相同的方式添加另外一个OSD，数据路径为/dev/sdc1，文件系统类型可以自己选择。
这样就添加了两个OSD。
大功告成！此时执行ceph –s，查看集群状态，集群状态Ok，我们就手动搭建了一个ceph集群。
Ceph提供三种存储服务，对象存储，块存储和文件存储，当我们要用到文件存储时，我们需要在集群里添加MDS，即元数据服务器。需要注意的是，MDS是在集群OSD添加后且集群状态健康时才能添加，否则手动添加会失败。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
c.添加一个MDS
选定节点192.168.50.193作为MDS，把monitor的ceph.conf配置文件拷贝到MDS节点的同一路径下。即scp 192.168.50.191:/etc/ceph/ceph.conf /etc/ceph。这样该节点就有了集群的配置文件。这个配置文件拷贝完了还没结束，需要添加MDS信息。如图所示。
这是MDS节点上的配置文件，与其他节点不同的是最后几行添加了MDS相关信息，PS这是一定要添加的，不然运行MDS服务时会失败，如下图所示。But无需将monitor 和OSD上的ceph.conf也更改成这样，集群还是比较智能的。
在我们添加了mds配置信息后，在mds节点上新建目录：mkdir /var/lib/ceph/mds/mds.0。在monitor节点上也建立这样的目录，在monitor上运行ceph authget-or-create mds.0 mds 'allow ' osd 'allow *' mon 'allow rwx' >/var/lib/ceph/mds/mds.0/mds.0.keyring。此时就生成了秘钥。把这个秘钥拷贝到mds节点的/var/lib/ceph/mds/mds.0目录下。
开启元数据服务。在mds节点上运行：service ceph start mds.0开启mds服务，会看到以下提示：
这样mds就添加成功了！此时执行ceph –s查看集群状态
这样就完成了一个小集群的手动安装配置，包括一个monitor，2个osd，1个mds。参照官方文档一般都不会有什么问题。
ceph 官方文档：http://ceph.com/docs/master/install/#deploy-a-cluster-manually
转载请注明来源：http://blog.csdn.net/Quicksnowdream