架构扩展-ceph(1)

理论：
Ceph是一个开源的、统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
ceph支持的三种存储方式：
    块存储 RDB: 安全、读写性强、大型或超大型企业使用，需要光纤组网成本高
    对象存储 RGW：键值存储、安全、高读写、简单易管理，不适应变动大的文件、不适合数据库、系统挂载困难
    文件系统存储 CephFS：成本低、适用于内部文件共享，低读写、低传输
ceph组件：
    osd: 存储数据、副本数据处理、数据恢复、数据回补、平衡数据分布，并将数据相关的一些监控信息提供给mon,以便mon来检查其他OSD的心跳状态。
    mon：负责监视Ceph集群，维护Ceph集群的健康状态，同时维护着Ceph集群中的各种Map图
    mds: 保存的是Ceph文件系统的元数据。Ceph的块设备和Ceph对象存储都不需要mds
    mgr: 负责跟踪运行时间指标和Ceph群集的当前状态，包括存储利用率，当前性能指标和系统负载。

1.环境
ceph01 192.168.8.10    admin、osd、mon、mgr
ceph02 192.168.8.20 osd、mds、mon、mgr
ceph03 192.168.8.30    osd、mds、mon、mgr
client 192.168.8.40 client 
(前3台另加一块100G硬盘，不要分区)

2.ssh免密
ceph01:
cat >> /etc/hosts << EOF
192.168.8.10 ceph01
192.168.8.20 ceph02
192.168.8.30 ceph03
192.168.8.40 client
EOF 

ssh-keygen
for i in ceph01 ceph02 ceph03 client;do ssh-copy-id $i;done

scp /etc/hosts ceph02:/etc 
scp /etc/hosts ceph03:/etc 
scp /etc/hosts client:/etc 

3.所有ceph主机基础配置

yum源：
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
cat> /etc/yum.repos.d/ceph.repo << EOF
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
EOF

时间同步：
yum -y install chrony
vim /etc/chrony.conf 
修改：
server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
server ntp3.aliyun.com iburst
保存退出
systemctl restart chronyd 

安装ceph-deploy
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

4.创建集群
(1)管理节点，多个mon模式
ceph01:
cd /etc/ceph/
ceph-deploy new ceph01 ceph02 ceph03

ls /etc/ceph/
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring  rbdmap

# ceph.conf 为 ceph 配置文件;
  ceph-deploy-ceph.log 为 ceph-deploy 日志文件;
  ceph.mon.keyring 为 ceph monitor 的密钥环。

# 把 Ceph 配置文件里的默认副本数从 3 改成 2 ，这样只有两个 OSD 也可以达到 active + clean 状态。
echo "osd_pool_default_size = 2" >> ceph.conf

(2)初始化mon节点，收集所有秘钥
# 管理节点
ceph01:
ceph-deploy mon create-initial
 
# 查看集群状态
ceph -s

5.添加osd服务
# 使用ceph自动分区
ceph01：
ceph-deploy disk zap ceph01 /dev/sdb
ceph-deploy disk zap ceph02 /dev/sdb
ceph-deploy disk zap ceph03 /dev/sdb

# 添加osd节点
ceph01：
ceph-deploy osd create ceph01 --data /dev/sdb
ceph-deploy osd create ceph02 --data /dev/sdb
ceph-deploy osd create ceph03 --data /dev/sdb

# 查看osd节点
ceph01:
ceph-deploy osd list ceph01 ceph02 ceph03

6.添加mgr服务
ceph01:
ceph-deploy mgr create ceph01 ceph02 ceph03

7.统一集群配置
ceph01:
ceph-deploy admin ceph01 ceph02 ceph03

# 集群每一个节点授权
chmod +r /etc/ceph/ceph.client.admin.keyring

8.添加mds服务
ceph01:
ceph-deploy mds create ceph02 ceph03

#查看mds状态
ceph mds stat

#查看集群状态
ceph -s  

----------------
ceph集群应用

一.文件系统运用 
1.创建CephFS
# 查看文件系统
ceph01: 
ceph fs ls 
显示无文件系统

# CephFS 需要两个Pools: cephfs-data、cephfs-metadata, 分别存储文件数据和文件元数据
# 取值范围：osd<5 取128；osd 5-10 取512；osd 10-50取4096；osd>50 通过pgcalc计算
ceph01:
ceph osd pool create ceph_data 128
ceph osd pool create ceph_metadata 128

# 为存储池创建文件系统
ceph01:
ceph fs new cephfs ceph_metadata ceph_data

#查看文件系统和mds状态
ceph01:
ceph fs ls 
ceph fs status cephfs 

2.客户端挂载
(1) 普通挂载
# 客户端创建挂载点
client：
mkdir /data 

# 管理节点查看客户端秘钥
ceph01:
cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
    key = AQC++Zxk7ie+IxAAaOUqx/ZErIEXBfHNhDqK8g==

# 客户端使用秘钥挂载
client: 
mount -t ceph 192.168.8.10:6789:/ /data/ -o name=admin,secret=AQC++Zxk7ie+IxAAaOUqx/ZErIEXBfHNhDqK8g==

# 卸载
umount /data 

(2) 用户空间方式挂载
# 客户端安装ceph-fuse 
client：
yum -y install ceph-fuse
mkdir /etc/ceph  

# 管理节点复制秘钥和配置文件到客户端
ceph01:
scp ceph.client.admin.keyring ceph.conf client:/etc/ceph/

# 客户端挂载
ceph-fuse -m 192.168.8.10:6789 /data/

# 查看挂载
df -hT 

二.块存储运用
1.查看内核是否支持rbd，否则升级内核
ceph01:
modprobe rbd
lsmod | grep rbd

2.创建块存储的存储池
ceph01:
ceph osd pool create rbd 64

# pg取值一般64 128 256，具体看osd数量
# 查看pg值 
ceph osd pool get rbd pg_num

# 手动设置pg值
ceph osd pool set rbd pg_num 128

3.创建块存储镜像
ceph01: 
rbd create --size 102400 rbd/test1

#更改镜像大小
rbd resize --size 51200 test1 --allow-shrink

# 查看rbd信息
rbd ls
rbd info test1 

4.客户端映射块设备
client：
# 安装ceph命令
yum -y install ceph-common

# 内核4.0前系统需要关闭某些功能
rbd feature disable test1 object-map fast-diff deep-flatten exclusive-lock

# 映射rbd
rbd map test1 

#挂载
mkdir /cephrbd
mkfs.xfs /dev/rbd0
mount /dev/rbd0 /cephrbd 

# 测试写入
dd if=/dev/zero of=/cephrbd/file bs=100M count=1

# 查看rados（ceph底层系统）
rados df 

5.创建快照并测试回滚
client：
rbd snap create --snap mysnap rbd/test1

# 删除文件
rm -rf /cephrbd/file 

# 取消挂载
umount /dev/rbd0

# 回滚
rbd snap rollback rbd/test1@mysnap

# 重新挂载并查看文件
mount /dev/rbd0 /cephrbd/
ls /cephrbd 

6. 块设备克隆（基于快照）
# 保护快照
rbd snap protect rbd/test1@mysnap

# 卸载
umount /dev/rbd0

# 基于快照克隆
rbd clone rbd/test1@mysnap rbd/test2

# 查看块存储
rbd ls 

# 映射rbd
rbd map rbd/test2

# 挂载新设备
mkdir /cephrbd1
mount /dev/rbd1 /cephrbd1
ls /cephrbd1

-----------------------------
ceph常用命令
1.服务相关
systemctl status ceph\*.service ceph\*.target      #查看所有服务
systemctl stop ceph\*.service ceph\*.target      #关闭所有服务
systemctl start ceph.target                       #启动服务
systemctl stop ceph-osd\*.service                  # 关闭所有osd服务
systemctl stop ceph-mon\*.service                  #关闭所有mon服务
systemctl start ceph-osd@{id}                      #启动单个osd服务
systemctl start ceph-mon@{hostname}             #启动单个mon服务
systemctl start ceph-mds@{hostname}             #启动单个mds服务
 
2.查看
ceph -help #查看命令帮助
ceph -s #查看状态
ceph osd pool set rbd pg_num 1024   # 修改pg_num数量
ceph osd pool set rbd pgp_num 1024   # 修改pgp_num数量
ceph osd tree  #查看osd树列表
ceph osd pool ls  #查看所有的osd池
ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show  # 查看指定的osd运行中的所有参数
rados df   #查看储存池使用情况
rados -p rbd ls |sort  
ceph osd pool get rbd pg_num 
ceph osd pool get rbd pgp_num 
ceph osd pool set rbd pg_num 1024
ceph osd pool set rbd pgp_num 1024

3.清除ceph配置
systemctl stop ceph\*.service ceph\*.target        #停止所有进程
ceph-deploy uninstall [{ceph-node}]                #卸载所有ceph程序
ceph-deploy purge {ceph-node} [{ceph-data}]        #删除ceph相关的安装包
    例如：ceph-deploy purge node4
ceph-deploy purgedata {ceph-node} [{ceph-data}]    #删除ceph相关的配置
ceph-deploy forgetkeys                            #删除key
yum -y remove ceph-deploy                        #卸载ceph-deploy管理