centos7安装ceph-jewel

前期准备:
1.ceph用户配置—每个节点上执行
ceph-deploy配置集群时以ceph用户的权限进行
新建用户:
useradd ceph
passwd ceph 
密码:87##IGsef
增加ceph的sudo权限
echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph
sudo chmod 0440 /etc/sudoers.d/ceph

2.ssh免密码登陆—每个节点
yum install openssh-server -y
su - ceph
ssh-keygen 生成密钥

将密钥复制到要登陆的服务器
ssh-copy-id "-p $port" ceph@ceph01
ssh-copy-id "-p $port" ceph@ceph02
ssh-copy-id "-p $port" ceph@ceph03
ssh-copy-id "-p $port" ceph@ceph04 

3、 格式化挂载磁盘
fdisk  /dev/sdb
p
n
p
1
w
mkfs.xfs    /dev/sdb
创建挂载点
mkdir   /opt/ceph-sdb
mount /dev/sdb1   /opt/ceph-sdb
把目录的所有者改成ceph,否则配置集群过程中后出错
chown -R ceph.ceph   /opt/ceph-sdb
 
4、 NTP同步时间
yum install ntpdate -y
ntpdate timeserver  
加入到crontab中,执行间隔不可过长

ceph安装:
1.yum源
设置好yum源,前提得看好ceph版本所支持的系统版本。默认情况下centos6已经不被最新版本支持。这里使用最新版本ceph-jewel,

[ceph]

name=Ceph packages for $basearch

baseurl=https://download.ceph.com/rpm-jewel/el7/$basearch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc 

[ceph-noarch]

name=Ceph noarch packages

baseurl=https://download.ceph.com/rpm-jewel/el7/noarch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc 

[ceph-source]

name=Ceph source packages

baseurl=https://download.ceph.com/rpm-jewel/el7/SRPMS

enabled=0

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

上面内容保存到ceph.repo中

2.安装ceph软件:
不要使用ceph-deploy安装节点,容易出错。
yum install ceph-deploy -y
yum -y install epel-release
yum -y install ceph ceph-radosgw
 
配置集群:
功能: mon一个集群建议有3个点
osd    存储单元,最少两个
mds   cephfs功能所必须的组件,官方建议每个集群有一个,但最新版本对cephfs方面有所增加,两个以上的mds可以实现自动切换,同时只有一个active状态,其他处于standby,active发生故障后,standby自动将状态切换成acitve。
1.新建一个集群
ceph-deploy new  ceph01 ceph02 ceph03 ceph04
2.在节点上开启监控服务
ceph-deploy mon create  ceph01 ceph02 ceph03 ceph04
3.收集所有节点的key
ceph-deploy gatherkeys  ceph01 ceph02 eph03 ceph04
4.增加osd节点
初始化:
ceph-deploy osd prepare ceph01:/opt/ceph-sdb ceph02:/opt/ceph-sdb ceph03:/opt/ceph-sdb ceph04:/opt/ceph-sdb
激活:
ceph-deploy osd activate ceph01:/opt/ceph-sdb ceph02:/opt/ceph-sdb ceph03:/opt/ceph-sdb ceph04:/opt/ceph-sdb
5.增加mds节点,cephfs必须的节点,创建两个,active--standby模式
ceph-deploy  mds create ceph01 ceph02
创建元数据,必须执行
ceph osd pool create data 192 192
sudo ceph osd tree
sudo ceph osd  pool create data 192 192
sudo ceph osd  pool create metadata 192 192
sudo ceph fs new cephfs metadata data 

客户端使用
把ceph集群的ceph.conf和ceph.client.admin.keyring复制到客户端的/etc/ceph目录下
1.cephfs模式 挂载
mkdir /mnt/testceph/
mount -t ceph ceph01:6789:/   /mnt/testceph/

2.使用rdb块挂载

centos7.2 内核支持rbd,但是官方不建议使用。这里为了简单,不对内核作任何操作。

创建一个镜像

echo "rbd_default_features = 3" >> /etc/ceph/ceph.conf  #否则在3.10的内核下会报错,因为新版的一些特性3.10内核不支持

rbd create rbdtest --size 40960

rbd map rbdtest  --name client.admin

mkfs.xfs  /dev/rbd0

挂载

mkdir /mnt/rbdtest

mount /dev/rbd0  /mnt/rbdtest/

有一个问题,不同的客户端在挂载同一个块的时候文件不能实时同步。本身不支持这个功能,umount && mount后会显示mount前块上所有的文件,一旦远端发生变化,仍然无法实时同步。实现这个功能只能是使用cephfs模式。


常用管理命令

1.集群状态

ceph -s   查看ceph状态

ceph -w   持续观察集群变动类似于tail -f 的功能

ceph osd stat  osd状态

ceph osd tree   osd树

ceph mon stat  mon状态

ceph mds stat    mds状态


2.osd故障操作

摘掉osd的命令如下,版本不同下面命令可能会有细微差异
osd_id=`ceph osd tree | grep down | grep osd | awk '{print $3}' | awk -F . '{print$2}'`
ceph osd rm ${osd_id}
ceph osd crush rm osd.${osd_id}
ceph auth del osd.${osd_id}
mkfs.xfs -f -i size=512 /dev/sd${i}1
mount -a
chown -R  ceph:ceph  ${hostname}:/opt/ceph-sdb
su - ceph
ceph-deploy --overwrite-conf osd prepare ${hostname}:/opt/ceph-sdb
ceph-deploy --overwrite-conf osd activate ${hostname}:/opt/ceph-sdb

3.rbd块的操作
rbd create img_name -s img_size  ####创建
rbd map img_name              ##映射
rbd   ls                      查看ceph默认资源池rbd里面的镜像 
rbd info xxx.img              查看xxx.img的具体的具体信息
rbd rm xxx.img                  删除xxx.img 
rbd cp aaa.img bbb.img   拷贝镜像aaa.img为bbb.img 
rbd rename aaa.img           bbb.img  重命名aaa.img为bbb.img
rbd import aaa.img           将本地的aaa.img导入ceph集群中
rbd export aaa.img           将ceph集群中aaa.img导出到本地

你可能感兴趣的:(分布式存储)