ceph 硬件选型、性能调优（*）

1、应用场景挑选

image.png

2、CPU：一个OSD至少1个CPU核
内存：一个OSD1GB内存；恢复时1TB1GB内存
网卡：万兆网卡
硬盘：SSD做日志盘，10-20GB；建议4个OSD数据盘配一个SSD；
3、硬件方面调优：
-一个OSD进程对应一个CPU
-mon和mds需要2GB内存，osd需要至少1GB内存
-SSD选择：Intel SSD DC S3500 Series
-BIOS上开启VT和HT；关闭节能
-关闭NUMA
4、操作系统方面调优：
-SSD的IO调度使用：NOOP 机械的IO调度使用：deadline
-设置更大预读：echo "8192">/sys/block/sdX/queue/read_ahead_kb
-设置进程数量：echo 4194303>/proc/sys/kernel/pid_max
-调整CPU频率：echo performance|tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor>/dev/null
-关闭交换分区：vm.swappiness=0
-cgroups??????
5、网络方面调优：
-MTU调整到9000
-手动设置中断亲和或者使用irqbalance
-打开TOE：ethtool -K ens33 tso on
-RDMA????
-DPDK????
6、ceph方面调优：
-echo 131072>/proc/sys/fs/file-max
-filestore参数调优

image.png

-journal相关参数

image.png

-OSD参数

image.png

-recovery tuning参数

image.png

-client 参数

image.png

-pg的数量要2的指数，计算公式

image.png

7、基准测试工具：Cosbech