ceph 生产计划

ceph 核心组件构成: monitor,osd,mds
     辅助组件:mgr

需求清单

组件 数量
MON 5
OSD 21*10
MDS 3
MGR 1

ceph 网络配置

  • public 网络,是Client、MON、MDS与OSD通信的网络
  • cluster网络,是OSD与OSD通信通信的网络
ceph 生产计划_第1张图片
ditaa-2452ee22ef7d825a489a08e0b935453f2b06b0e6 (2).png

实现方式: osd 利用vlan,单osd配置双网段。

网络设备:
万兆接入交换机:单台服务器,10000bit/s*2

组件配置

mon:

  • CPU 核数
    3(建议1核以上)
  • RAM 16G (越多越好)
  • DISK 100G (10G)
  • NIC 1*10G

OSD:

  • CPU 2 核(建议2核以上)
  • RAM 8G (一个OSD进程配置 RAM大小为 1GB每1TB硬盘)
  • DISK
    journal: pice ssd 10G(osd 与ssd 多对1)
    osd journal(ssd) size = <2 * (expected throughput * filestore max sync interval)

The expected throughput number should include the expected disk throughput (i.e., sustained data transfer rate), and network throughput. For example, a 7200 RPM disk will likely have approximately 100 MB/s. Taking the min() of the disk and network throughput should provide a reasonable expected throughput. Some users just start off with a 10GB journal size.

data: hdd (osd 与hdd 一对一)

  • NIC 2*10G

MDS: CPU密集型

  • cpu 4核(四核或更多的CPU)
  • RAM 16G 以上 (越多越好)
  • DISK 10G (基本无本地数据)
  • NIC 1*10G

服务器需求

存储型 21台

配置:

  • DISK
    1* pice ssd 200G (性能型1:12 普通hdd)
    11 * 8T hdd, 其中10个做osd, 另一个做辅助程序的磁盘(domeos)
  • RAM
    大于 100 G
  • NIC
    双网段万兆
  • cpu
    20 核以上
    用途:
    用于部署osd server
非存储型8台

配置:

  • DISK
    2 * hdd 500G
  • RAM
    128G
  • NIC
    单万兆
  • cpu
    24 核以上
    用途
    其中5台部署 monitor, 3台部署mds,2主1备(集群)或者 1主2备(主备)

ceph 容灾域规划

生产集群设计容灾域最小为:RACK
需要21 个 osd 节点的部署方式 按照7:7: 7 分布到三个rack上。
通过设计ceph rule规则规划pool的分布到三rack。

ceph 生产计划_第2张图片
绘图1.jpg

容灾域设置
命令:

ceph osd crush add-bucket 02 row
ceph osd crush move 02 root=default
ceph osd crush add-bucket 02-06 rack
ceph osd crush move 02-06 row=02
sudo ceph osd crush move ip-10-25-194-2 rack=02-06

或者直接编辑crashmap 重新加载到monitor

软件配置

ceph 版本: Luminous(12.2.X)

对比之前的版本

  • MDS 多活

在Luminous(12.2.x)版本发布之前,在单个文件系统中运行多个活动元数据服务器被认为是实验性的。现在,新文件系统上默认允许创建多个活动元数据服务器。

  • blueStore

    blueStore 可用在高性能存储 (sata ssd 搭配 pice/nvme ssd)

os文件系统
  推荐xfs
server端kernal要求:

建议最的LTS kernel新版本

As a general rule, we recommend deploying Ceph on newer releases of Linux. We also recommend deploying on releases with long-term support.

当前的最新linux kernel LTS版本

  • 4.14.z
  • 4.9.z
客户端内核要求:
svc 访问方式 建议内核版本
rbd 内核 4.x-based LTS版本
rbd fuse 可用较低版本(比如3.10)
cephfs 内核 建议4.x
cephfs fuse 可用4.x一下版本

客户端版本较低时需要diable服务器端的部分feature才可挂载。

监控报警

监控层 监控项 监控工具
物理机 cpu、磁盘、内存、网络、负载 domeos (node_exporter +promethus)
ceph集群 健康状态、容量、读写IOPS、PG状态等 ceph-exporter + promethus + grafana

ceph监控面板:

ceph 生产计划_第3张图片
image.png

你可能感兴趣的:(ceph 生产计划)