ceph 核心组件构成： monitor,osd,mds
辅助组件：mgr
需求清单
| 组件 | 数量 |
|---|---|
| MON | 5 |
| OSD | 21*10 |
| MDS | 3 |
| MGR | 1 |
ceph 网络配置
- public 网络，是Client、MON、MDS与OSD通信的网络
- cluster网络，是OSD与OSD通信通信的网络
实现方式： osd 利用vlan，单osd配置双网段。
网络设备：
万兆接入交换机：单台服务器，10000bit/s*2
组件配置
mon：
- CPU 核数
3（建议1核以上） - RAM 16G （越多越好）
- DISK 100G (10G)
- NIC 1*10G
OSD:
- CPU 2 核（建议2核以上）
- RAM 8G （一个OSD进程配置 RAM大小为 1GB每1TB硬盘）
- DISK
journal: pice ssd 10G（osd 与ssd 多对1）
osd journal（ssd） size = <2 * (expected throughput * filestore max sync interval)
The expected throughput number should include the expected disk throughput (i.e., sustained data transfer rate), and network throughput. For example, a 7200 RPM disk will likely have approximately 100 MB/s. Taking the min() of the disk and network throughput should provide a reasonable expected throughput. Some users just start off with a 10GB journal size.
data: hdd (osd 与hdd 一对一)
- NIC 2*10G
MDS: CPU密集型
- cpu 4核（四核或更多的CPU）
- RAM 16G 以上 （越多越好）
- DISK 10G (基本无本地数据)
- NIC 1*10G
服务器需求
存储型 21台
配置：
- DISK
1* pice ssd 200G （性能型1:12 普通hdd）
11 * 8T hdd, 其中10个做osd， 另一个做辅助程序的磁盘（domeos） - RAM
大于 100 G - NIC
双网段万兆 - cpu
20 核以上
用途：
用于部署osd server
非存储型8台
配置：
- DISK
2 * hdd 500G - RAM
128G - NIC
单万兆 - cpu
24 核以上
用途
其中5台部署 monitor， 3台部署mds，2主1备（集群）或者 1主2备（主备）
ceph 容灾域规划
生产集群设计容灾域最小为：RACK
需要21 个 osd 节点的部署方式 按照7：7: 7 分布到三个rack上。
通过设计ceph rule规则规划pool的分布到三rack。
容灾域设置
命令：
ceph osd crush add-bucket 02 row
ceph osd crush move 02 root=default
ceph osd crush add-bucket 02-06 rack
ceph osd crush move 02-06 row=02
sudo ceph osd crush move ip-10-25-194-2 rack=02-06
或者直接编辑crashmap 重新加载到monitor
软件配置
ceph 版本： Luminous（12.2.X）
对比之前的版本
- MDS 多活
在Luminous（12.2.x）版本发布之前，在单个文件系统中运行多个活动元数据服务器被认为是实验性的。现在，新文件系统上默认允许创建多个活动元数据服务器。
- blueStore
blueStore 可用在高性能存储 （sata ssd 搭配 pice/nvme ssd）
os文件系统
推荐xfs
server端kernal要求：
建议最的LTS kernel新版本
As a general rule, we recommend deploying Ceph on newer releases of Linux. We also recommend deploying on releases with long-term support.
当前的最新linux kernel LTS版本
- 4.14.z
- 4.9.z
客户端内核要求：
| svc | 访问方式 | 建议内核版本 |
|---|---|---|
| rbd | 内核 | 4.x-based LTS版本 |
| rbd | fuse | 可用较低版本（比如3.10） |
| cephfs | 内核 | 建议4.x |
| cephfs | fuse | 可用4.x一下版本 |
客户端版本较低时需要diable服务器端的部分feature才可挂载。
监控报警
| 监控层 | 监控项 | 监控工具 |
|---|---|---|
| 物理机 | cpu、磁盘、内存、网络、负载 | domeos (node_exporter +promethus) |
| ceph集群 | 健康状态、容量、读写IOPS、PG状态等 | ceph-exporter + promethus + grafana |
ceph监控面板：
