Ceph分布式存储系统-性能测试与优化
测试环境
部署方案：整个Ceph Cluster使用4台ECS，均在同一VPC中，结构如图：
以下是 Ceph 的测试环境，说明如下：
- Ceph 采用 10.2.10 版本，安装于 CentOS 7.4 版本中；系统为初始安装，没有调优。
- 每个 OSD 存储服务器都是4核8GB，挂载1块300G高效云盘（非SSD硬盘）；操作系统和OSD存储均用同一个磁盘。
[root@node1 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6 0 rack test-bucket
-5 0 rack demo
-1 0.86458 root default
-2 0.28819 host node2
0 0.28819 osd.0 up 1.00000 1.00000
-3 0.28819 host node3
1 0.28819 osd.1 up 1.00000 1.00000
-4 0.28819 host node4
2 0.28819 osd.2 up 1.00000 1.00000- 使用 Test pool，此池为 64 个 PGs，数据存三份；
[root@node1 ~]# ceph osd pool create test 64 64
pool 'test' created
[root@node1 ~]# ceph osd pool get test size
size: 3
[root@node1 ~]# ceph osd pool get test pg_num
pg_num: 64- Ceph osd 采用 xfs 文件系统（若使用 brtf 文件系统读写性能将翻 2 倍，但brtf不建议在生产环境使用）；
- Ceph 系统中的Block采用默认安装，为 64K；
- 性能测试客户端运行在node1上，在同一VPC下使用同一网段访问 Ceph 存贮系统进行数据读写；
本次测试中，发起流量的客户端位于Ceph Cluster中，故网络延时较小，真正生产环境中还需要考虑网络瓶颈。生产环境的网络访问图如下：
磁盘性能测试
测试磁盘写吞吐量
使用dd命令对磁盘进行标准写测试。使用一下命令行读取和写入文件，记住添加oflag参数以绕过磁盘页面缓存。
node1:
[root@node1 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
记录了1+0 的写出
1073741824字节(1.1 GB)已复制，15.466 秒，69.4 MB/秒node2:
[root@node2 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
记录了1+0 的写出
1073741824字节(1.1 GB)已复制，13.6518 秒，78.7 MB/秒node3:
[root@node3 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
记录了1+0 的写出
1073741824字节(1.1 GB)已复制，13.6466 秒，78.7 MB/秒node4:
[root@node4 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
记录了1+0 的写出
1073741824字节(1.1 GB)已复制，13.6585 秒，78.6 MB/秒可以看出，除了node1节点外，磁盘吞吐量在 78 MB/s 左右。node1上没有部署osd，最终不作为ceph的读写性能评判参考。
测试磁盘写延迟
使用dd命令，每次写512字节，连续写1万次。
node1:
[root@node1 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
5120000字节(5.1 MB)已复制，6.06715 秒，844 kB/秒node2:
[root@node2 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
5120000字节(5.1 MB)已复制，4.12061 秒，1.2 MB/秒node3:
[root@node3 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
5120000字节(5.1 MB)已复制，3.88562 秒，1.3 MB/秒node4:
[root@node4 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
5120000字节(5.1 MB)已复制，3.60598 秒，1.4 MB/秒平均耗时4秒，平均速度1.3MB/s。
集群网络I/O测试
由于客户端访问都是通过rgw访问各个osd（文件存储服务除外），主要测试rgw节点到各个osd节点的网络性能I/O。
rgw到osd.0
在osd.0节点上使用nc监听17480端口的网络I/O请求：
[root@node2 ~]# nc -v -l -n 17480 > /dev/null
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
Ncat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:33644.在rgw节点上发起网络I/O请求：
[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.97 17480
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Connected to 192.168.0.97:17480.
^C记录了121182456+0 的读入
记录了121182455+0 的写出
62045416960字节(62 GB)已复制，413.154 秒，150 MB/秒
real 6m53.156s
user 5m54.626s
sys 7m51.485s网络I/O总流量62GB，耗时413.154秒，平均速度150 MB/秒。
rgw到osd.1
在osd.1节点上使用nc监听17480端口的网络I/O请求：
[root@node3 ~]# nc -v -l -n 17480 > /dev/null
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
Ncat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:35418.在rgw节点上发起网络I/O请求：
[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.98 17480
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Connected to 192.168.0.98:17480.
^C记录了30140790+0 的读入
记录了30140789+0 的写出
15432083968字节(15 GB)已复制，111.024 秒，139 MB/秒
real 1m51.026s
user 1m21.996s
sys 2m20.039s网络I/O总流量15GB，耗时111.024秒，平均速度139 MB/秒。
rgw到osd.2
在osd.2节点上使用nc监听17480端口的网络I/O请求：
[root@node4 ~]# nc -v -l -n 17480 > /dev/null
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
Ncat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:39156.在rgw节点上发起网络I/O请求：
[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.99 17480
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Connected to 192.168.0.99:17480.
^C记录了34434250+0 的读入
记录了34434249+0 的写出
17630335488字节(18 GB)已复制，112.903 秒，156 MB/秒
real 1m52.906s
user 1m23.308s
sys 2m22.487s网络I/O总流量18GB，耗时112.903秒，平均速度156 MB/秒。
总结：集群内不同节点间，网络I/O平均在150MB/s左右。跟实际情况相符，因为本集群是千兆网卡。
rados集群性能测试
准备工作
-
- 查看ceph cluster的osd分布情况：
[root@node1 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6 0 rack test-bucket
-5 0 rack demo
-1 0.86458 root default
-2 0.28819 host node2
0 0.28819 osd.0 up 1.00000 1.00000
-3 0.28819 host node3
1 0.28819 osd.1 up 1.00000 1.00000
-4 0.28819 host node4
2 0.28819 osd.2 up 1.00000 1.00000可见该cluster部署了3个osd节点，3个都处于up状态（正常work）。
- 为rados集群性能测试创建一个test pool，此池为 64 个 PGs，数据存三份；
[root@node1 ~]# ceph osd pool create test 64 64
pool 'test' created
[root@node1 ~]# ceph osd pool get test size
size: 3
[root@node1 ~]# ceph osd pool get test pg_num
pg_num: 64- 查看test pool默认配置：
[root@node1 test]# ceph osd dump | grep test
pool 12 'test' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 37 flags hashpspool stripe_width 0- 查看test poll资源占用情况：
[root@node1 test]# rados -p test df
pool name KB objects clones degraded unfound rd rd KB wr wr KB
test 0 0 0 0 0 0 0 0 0
total used 27044652 192
total avail 854232624
total space 928512000写性能测试
- 测试写性能
[root@node1 ~]# rados bench -p test 60 write --no-cleanup
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_node1_26604
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 31 15 59.9966 60 0.953952 0.614647
2 16 38 22 43.9954 28 1.38736 0.781039
3 16 46 30 39.9958 32 1.87801 1.06765
4 16 61 45 44.9953 60 1.19344 1.23191
5 16 76 60 47.9949 60 0.993045 1.17022
6 16 91 75 49.9946 60 1.00303 1.1498
7 16 106 90 51.4231 60 0.999574 1.13609
8 16 119 103 51.4945 52 1.00504 1.12779
9 16 122 106 47.106 12 1.20668 1.13173
10 16 122 106 42.3954 0 - 1.13173
11 16 125 109 39.632 6 2.8996 1.18213
12 16 137 121 40.3289 48 3.90723 1.45272
13 16 151 135 41.5339 56 1.10043 1.47333
14 16 169 153 43.7096 72 0.927572 1.4129
15 16 181 165 43.9952 48 1.02879 1.38739
16 16 196 180 44.9951 60 1.08398 1.36665
17 16 209 193 45.4068 52 1.117 1.34742
18 16 212 196 43.5508 12 1.30703 1.3468
19 16 215 199 41.8902 12 2.79917 1.36874
2018-03-20 17:06:48.745397 min lat: 0.229762 max lat: 4.09713 avg lat: 1.40039
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 218 202 40.3956 12 3.49784 1.40039
21 16 225 209 39.8051 28 4.18987 1.48851
22 16 241 225 40.9046 64 1.00629 1.53148
23 16 256 240 41.7345 60 1.18098 1.49869
24 16 271 255 42.4953 60 1.0017 1.47319
25 16 286 270 43.1952 60 1.00118 1.45067
26 16 299 283 43.5337 52 1.19813 1.43348
27 16 302 286 42.3657 12 1.30607 1.43215
28 16 302 286 40.8527 0 - 1.43215
29 16 305 289 39.8577 6 3.00461 1.44847
30 16 316 300 39.9956 44 3.73721 1.54023
31 16 331 315 40.6407 60 0.97103 1.54526
32 16 346 330 41.2455 60 0.999926 1.5214
33 16 361 345 41.8136 60 1.00411 1.50169
34 16 376 360 42.3483 60 1.00089 1.48355
35 16 386 370 42.2811 40 1.20272 1.4727
36 16 389 373 41.4399 12 1.50616 1.47296
37 16 392 376 40.6442 12 3.1067 1.486
38 16 395 379 39.8903 12 3.90852 1.50518
39 16 402 386 39.5854 28 4.12175 1.551
2018-03-20 17:07:08.747628 min lat: 0.229762 max lat: 4.29984 avg lat: 1.56868
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
40 16 418 402 40.1956 64 1.07659 1.56868
41 16 433 417 40.6784 60 0.999955 1.54939
42 16 448 432 41.1383 60 1.17664 1.53256
43 16 463 447 41.5768 60 1.00297 1.51695
44 16 478 462 41.9953 60 1.00466 1.50234
45 16 479 463 41.151 4 1.19512 1.50168
46 16 482 466 40.5172 12 2.6118 1.50882
47 16 485 469 39.9105 12 3.3123 1.52034
48 16 493 477 39.7456 32 4.00971 1.55901
49 16 508 492 40.1588 60 1.01054 1.57611
50 16 523 507 40.5555 60 0.996004 1.55869
51 16 538 522 40.9366 60 0.997722 1.54464
52 16 553 537 41.3031 60 1.19815 1.53113
53 16 568 552 41.6557 60 1.21298 1.51864
54 16 572 556 41.1806 16 1.49932 1.51797
55 16 572 556 40.4318 0 - 1.51797
56 16 575 559 39.9241 6 3.09559 1.52643
57 16 583 567 39.785 32 3.99229 1.55923
58 16 595 579 39.9266 48 1.37706 1.57952
59 16 612 596 40.4022 68 0.89873 1.56855
2018-03-20 17:07:28.749935 min lat: 0.229762 max lat: 4.29984 avg lat: 1.56738
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
60 16 624 608 40.5288 48 1.65518 1.56738
Total time run: 60.821654
Total writes made: 625
Write size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 41.1038
Stddev Bandwidth: 23.0404
Max bandwidth (MB/sec): 72
Min bandwidth (MB/sec): 0
Average IOPS: 10
Stddev IOPS: 5
Max IOPS: 18
Min IOPS: 0
Average Latency(s): 1.55581
Stddev Latency(s): 0.981606
Max latency(s): 4.29984
Min latency(s): 0.229762如果加上可选参数 --no-cleanup ，那么测试完之后，不会删除该池里面的数据。里面的数据可以继续用于测试集群的读性能。
从以上测试数据可以看出：数据写入时的平均带宽是41MB/sec，最大带宽是72，带宽标准差是23（反应网络稳定情况）。
读性能测试
- 测试读性能
[root@node1 ~]# rados bench -p test 60 rand
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 101 85 339.935 340 0.270579 0.147057
2 16 145 129 257.955 176 0.246583 0.220784
3 16 191 175 233.297 184 0.53086 0.253465
4 16 236 220 219.968 180 0.0326233 0.268682
5 16 281 265 211.971 180 0.528696 0.286853
6 16 328 312 207.973 188 0.0203012 0.295207
7 16 371 355 202.831 172 0.283736 0.303328
8 16 415 399 199.475 176 0.508335 0.30781
9 16 461 445 197.753 184 0.24398 0.312503
10 16 510 494 197.576 196 0.499586 0.31802
11 16 556 540 196.34 184 0.259304 0.320708
12 16 602 586 195.31 184 0.745053 0.320777
13 16 646 630 193.823 176 0.0422189 0.32386
14 16 692 676 193.12 184 0.0467997 0.326607
15 16 735 719 191.711 172 0.0272729 0.327432
16 16 777 761 190.228 168 0.0160831 0.326381
17 16 821 805 189.39 176 0.483385 0.330262
18 16 865 849 188.645 176 0.0279903 0.330038
19 16 913 897 188.82 192 0.237649 0.332631
2018-03-20 17:08:51.231039 min lat: 0.00844047 max lat: 0.964959 avg lat: 0.332994
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 962 946 189.178 196 0.0115256 0.332994
21 16 1009 993 189.121 188 0.26545 0.334135
22 16 1052 1036 188.342 172 0.502163 0.335411
23 16 1095 1079 187.631 172 0.191482 0.335954
24 16 1140 1124 187.312 180 0.0187187 0.33593
25 16 1187 1171 187.339 188 0.0128352 0.336301
26 16 1232 1216 187.056 180 0.0260001 0.336886
27 16 1278 1262 186.942 184 0.0148474 0.336478
28 16 1324 1308 186.836 184 0.723555 0.337355
29 16 1367 1351 186.324 172 0.0246515 0.339247
30 16 1412 1396 186.113 180 0.0120403 0.339659
31 16 1460 1444 186.302 192 0.569969 0.338129
32 16 1506 1490 186.229 184 0.0316037 0.340041
33 16 1551 1535 186.04 180 0.0273989 0.340237
34 16 1596 1580 185.862 180 0.525298 0.340735
35 16 1638 1622 185.351 168 0.0101045 0.34052
36 16 1686 1670 185.535 192 0.0159173 0.34091
37 16 1731 1715 185.385 180 0.986173 0.339939
38 16 1775 1759 185.138 176 0.0152587 0.340806
39 16 1818 1802 184.8 172 0.216865 0.342337
2018-03-20 17:09:11.233088 min lat: 0.0080755 max lat: 1.20072 avg lat: 0.342772
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
40 16 1863 1847 184.68 180 0.298863 0.342772
41 16 1907 1891 184.468 176 0.539937 0.341949
42 16 1950 1934 184.17 172 0.501967 0.343196
43 16 1997 1981 184.259 188 0.258521 0.34255
44 16 2043 2027 184.253 184 0.0441231 0.343493
45 16 2088 2072 184.158 180 0.302963 0.343621
46 16 2135 2119 184.241 188 0.0198267 0.34337
47 16 2179 2163 184.065 176 0.26388 0.343744
48 16 2224 2208 183.98 180 0.274291 0.343872
49 16 2268 2252 183.817 176 0.0345847 0.343383
50 16 2314 2298 183.82 184 0.0555181 0.344454
51 16 2359 2343 183.745 180 0.288888 0.344362
52 16 2405 2389 183.749 184 0.280761 0.344848
53 16 2447 2431 183.452 168 0.0135715 0.34438
54 16 2496 2480 183.684 196 0.259152 0.344883
55 15 2542 2527 183.762 188 0.0231959 0.34473
56 15 2585 2570 183.552 172 0.235059 0.345157
57 16 2627 2611 183.208 164 0.272916 0.3454
58 16 2674 2658 183.29 188 0.534074 0.345242
59 16 2717 2701 183.099 172 0.261746 0.345621
2018-03-20 17:09:31.235266 min lat: 0.0080755 max lat: 1.20072 avg lat: 0.344692
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
60 16 2765 2749 183.247 192 0.213941 0.344692
Total time run: 60.297422
Total reads made: 2765
Read size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 183.424
Average IOPS: 45
Stddev IOPS: 5
Max IOPS: 85
Min IOPS: 41
Average Latency(s): 0.346804
Max latency(s): 1.20072
Min latency(s): 0.0080755
从以上测试数据可以看出：数据读取时的平均带宽是183MB/sec，平均延时是0.3 sec，平均IOPS是45。
- 测试数据清除
rados -p test cleanup- 删除test池:
[root@node1 ~]# ceph osd pool delete test test --yes-i-really-really-mean-it
pool 'test' removed结论
针对不同大小的block对Rados、RBD进行了读写性能测试，最终统计结果如下：
| block | 读写顺序 | 读写数据 | 线程数 | IOPS | 带宽速度 | 运行时间 s |
|---|---|---|---|---|---|---|
| 4K Rados | 随机读 | 174M | 16 | 15563 | 60.7961MB/s | 2 |
| 顺序读 | 174M | 16 | 13199 | 51.5621MB/s | 2 | |
| 随机写 | 174M | 16 | 1486 | 5.80794MB/s | 30 | |
| 4K RBD | 随机读 | 17.6G | 16 | 104000 | 587.7MB/s | 30 |
| 顺序读 | 2.2G | 16 | 23800 | 74MB/s | 30 | |
| 随机写 | 571M | 16 | 2352 | 19MB/s | 30 | |
| 顺序写 | 43M | 16 | 352 | 1.4MB/s | 30 | |
| 16K Rados | 随机读 | 615m | 16 | 13530 | 211.416MB/s | 2 |
| 顺序读 | 615m | 16 | 10842 | 169.419MB/s | 3.7 | |
| 随机写 | 615M | 16 | 1313 | 20.52864MB/s | 30 | |
| 16K RBD | 随机读 | 56G | 16 | 120000 | 1881MB/s | 30 |
| 顺序读 | 10G | 16 | 25600 | 363MB/s | 30 | |
| 随机写 | 1.9G | 16 | 2854 | 65.8MB/s | 30 | |
| 顺序写 | 170M | 16 | 384 | 5.7MB/s | 30 | |
| 512K Rados | 随机读 | 8.88G | 16 | 4218 | 2109.11MB/s | 3 |
| 顺序读 | 8.88G | 16 | 4062 | 2031.33MB/s | 4 | |
| 随机写 | 8.88G | 16 | 592 | 296.0093MB/s | 30 | |
| 512K RBD | 随机读 | 54G | 16 | 3719 | 1814.6MB/s | 30 |
| 顺序读 | 56G | 16 | 2834 | 1879.8MB/s | 30 | |
| 随机写 | 32G | 16 | 1649 | 1082.5MB/s | 30 | |
| 顺序写 | 9G | 16 | 1650 | 303.8KB/s | 30 |
- ceph 针对大块文件的读写性能非常优秀，高达2GB/s。
- rados读比写高出10倍的速率，适合读数据的高并发场景。
- pool配置：2个副本比3个副本的性能高出很多，但官方推荐使用3个副本，因为2个不够安全；
- 若机器配置不算很差（4核8G以上），ceph很容易达到1G带宽的限制阀值，若想继续提升ceph性能，需考虑提升带宽阀值。
- 设置更多的PG值可以带来更好的负载均衡，但从测试来看，设置较大的PG值并不会提高性能。
- 将fileStore刷新器设置为false对性能有不错的提升。