Ceph Cookbook 中文版

1、ceph介绍、ceph块存储、ceph对象存储、ceph文件系统、用Calamari监控Ceph、操作和管理ceph集群、深入ceph、ceph生产计划和性能调优、ceph虚拟存储管理器、ceph扩展
2、架构：
Ceph monitor：监控器
OSD:Ceph对象存储设备
MDS:Ceph元数据服务器
RADOS：负责保存存储对象
librados:为其他编程语言提供RADOS的接口
RBD：RADOS块设备
RGW:RADOS网关接口
CephFS:文件系统
解决方案：

image.png

3、提供三种形式的存储格式：块、文件系统、对象存储
4、有分层特性的镜像只支持format-2类型，而默认是format-1类型的镜像
分层特性COW，父镜像是可以删除的
5、块存储，直接挂载
6、对象存储，程序直接调用

image.png

RGW建议在负载均衡之前

image.png

7、通过S3访问对象存储，通过swift访问对象存储
8、联合ra'dosgw，多区域网关

image.png

image.png

image.png

9、ceph文件系统，cephFS通过libcephfs库直接与RADOS集群交互：MDS
访问ceph文件系统的方法：1、ceph FUSE 2、2.6以上linux内核 3、NFS Ganesha
10、window系统通过ceph-dokan来挂载ceph文件系统
11、监控Calamari
ceph -w 查看集群信息

ceph df 查看集群存储使用情况
ceph -s /status 查看集群状态
ceph auth list 获取认证信息
ceph mon stat 集群mon状态
ceph quorum_status -f json-pretty 查看集群仲裁信息
ceph osd tree 查看osd状态
ceph osd dump 查看osd详细信息
ceph osd find xx 查找
查看pg的状态 ceph pg stat
ceph pg dump -f json_pretty
ceph pg 2.7d query 查看特定pg的状态
11、查看MDS
ceph fs ls
ceph mds stat
ceph mds dump
12、安装统一监控软件calamari
13、启动所有
/etc/init.d/ceph -a start
/etc/init.d/ceph -a start mon
/etc/init.d/ceph -a start osd
/etc/init.d/ceph -a start mds
/etc/init.d/ceph -a start ceph-radosgw
14、扩展节点、缩小节点、升级
15、

image.png

16、CRUSH算法：客户端根据需要计算数据被写到哪里，从哪里读数据

image.png

反编译CRUSH MAP

image.png

Device osd
bucket types

image.png

自定义bucket类型

image.png

image.png

image.png

image.png

image.png

image.png

cephx验证

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

ob --- pg ----osd--pool

image.png

image.png

pg的状态

image.png

image.png

image.png

~~创建存储池

一个OSD，单核或以上足够

image.png

一个OSD，2GB内存，如果物理硬盘多或大容量，增加内存
10G,20G SSD做日志盘

image.png

global-----
max open files

image.png

osd pool default min size

image.png

pg数量,osd 100PG

image.png

image.png

日志

image.png

monitor----

image.png

image.png

osd---

image.png

image.png

image.png

image.png

osd日志设置

image.png

image.png

osd filestore

image.png

image.png

image.png

osd recocery

image.png

osd backfilling

image.png

osd scrubbing

image.png

image.png

client---

image.png

image.png

操作系统调优

image.png

image.png

image.png

image.png

image.png

image.png

纠删码

image.png

image.png

image.png

用VSM来管理ceph