openstack 与 ceph (架构)

参考架构

硬件配置

ceph 由 7 台 华为 RH2288A 组成, 硬件信息:

硬件	型号	数量	统计
cpu	Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz	2	24核
内存	16GB	4条	64GB
硬盘	4.0 TB	12	48TB
网卡	千兆	2	2
网卡	万兆	2	2

参考主机信息

主机名	bond0	bond0mask	bond0gw	bond1	bond1mask	bond1gw
hh-yun-ceph-cinder015-128055.vclound.com	10.199.128.55	255.255.252.0	10.199.128.1	240.30.128.55	255.255.248.0	null
hh-yun-ceph-cinder016-128056.vclound.com	10.199.128.56	255.255.252.0	10.199.128.1	240.30.128.56	255.255.248.0	null
hh-yun-ceph-cinder017-128057.vclound.com	10.199.128.57	255.255.252.0	10.199.128.1	240.30.128.57	255.255.248.0	null
hh-yun-ceph-cinder023-128073.vclound.com	10.199.128.73	255.255.252.0	10.199.128.1	240.30.128.73	255.255.248.0	null
hh-yun-ceph-cinder024-128074.vclound.com	10.199.128.74	255.255.252.0	10.199.128.1	240.30.128.74	255.255.248.0	null
hh-yun-ceph-cinder025-128075.vclound.com	10.199.128.75	255.255.252.0	10.199.128.1	240.30.128.75	255.255.248.0	null
hh-yun-ceph-cinder026-128076.vclound.com	10.199.128.76	255.255.252.0	10.199.128.1	240.30.128.76	255.255.248.0	null

ceph 集群组成部分

monitor 节点

CEPH 集群需要至少一个 MONITOR, 一个或多个 OSD 复制对象存储到集群中,  为提高可用性, 当前集群使用了 3 个 MON 进程.
初始化 MONITOR 是部署 CEPH 存储集群的第一步
监控设定了整个集群的重要标准,  例如复制池的数量, 每个 OSD 的 PG 数量, 心跳时间间隔及认证
上述的值可以按照默认设定, 但生产环境下最好知道这些值的作用

osd

OSD 进程, 用于存储数据, 控制数据复制,恢复, reblance, 为 ceph mon 提供监控信息, 自带 osd 心跳
一个 CEPH 集群具有两份数据副本复制时, 那么集群中至少需要两个 osd 进程处于活动状态 (显示为 active+clean)

openstack 与 ceph

ceph 块设备使用 thin-provision (非预占式), 可以重定义大小, 线性方式存储数据到 ceph 集群中的多个 osd,
ceph 块设备影响 RADOS 性能, 如快照, 复制及同步,  ceph 的 RADOS 块设备 (RBD) 接口通过内核模块或者 librdb 库工作
注意: 内核模块可以使用 linux 页缓存, librdb 基于应用层, ceph 支持 RDB 缓存 可以使用 ceph 块设备 images 与 openstack libvir 进行对接, 配置 QEMU 接口连接 librbd, ceph 条带块设备镜像作为对象跨越到整个集群, 使用大的 ceph 块设备性能会比使用一个独立的标准服务器要好 openstack 使用 ceph 块设备, 你需要先安装 QEMU, libvirt 与 openstack 我们推荐使用分离的物理节点进行安装 openstack, openstack 推荐至少使用 8G 及多核 CPU, 参考下面的 openstack/ceph 逻辑结构

可以利用 ceph 块设备 images 与 openstack libvir 进行对接 QEMU 接口连接 librbd
利用 ceph 创建的虚拟块设备会以条带方式存放在整个 ceph 集群中
openstack 要使用 ceph 块设备, 你需要先安装 QEMU, libvirt 与 openstack,  并把 ceph 存储配置完成

+--------------------+
| openstack | +--------------------+
|      libvirt       |
 --------------------+
 |
 | configure
 | +--------------------+
| qemu | +--------------------+
| librbd | +--------------------+
| librados | +-------+-+----------+
|  osds | | monitors |
+-------+ +----------+

注意: 假如你希望利用 ceph 启动虚拟机, 但ceph 不支持 qcow2 作为虚拟机磁盘格式, glance image 格式必须是 raw