Ceph学习----Ceph性能测试

CSDN 为我的同步更新博客，博客原地址：airheaven.cn

本文原文地址：http:/airheaven.cn/2016/01/14/ceph%E5%AD%A6%E4%B9%A0-ceph%E6%80%A7%E8%83%BD%E6%B5%8B%E8%AF%95/

一、性能影响

先来分析下哪些因素可能影响存储的性能，硬件部分就不说了，hdd和ssd出场的时候都会有官方的iops和throughput的指标，这里也不是重点考虑因素，那么影响存储性能的在软件层面都有哪些呢？

1. IO大小：文件系统一般io大小为4KB，也就是说，如果写入大于4KB大小的文件，那么会被拆成多个4KB的块进行存储，如果小于4KB大小，那么将被写入一个4KB的块，该值可以通过修改操作系统配置参数并重新编译内核实现
2. 队列深度：在某一时间有N的io请求（包括队列中的io请求和正在处理的io请求），其中N就是队列深度。更大的队列深度就意味着磁盘的空闲时间更短，就可以提高磁盘的利用率，但是更大的队列深度也意味着更长的响应时间，队列深度和响应时间需要权衡考虑
3. 读写模式以及随机/顺序模式：读的性能好于写，顺序的性能好于随机

二、环境准备

ceph 集群：

ceph1（1c1G）：osd0（iscsi）

ceph2（1c1G）：osd1（iscsi），osd2（iscsi）

ceph3（1c1G）：mon，mds

ceph4（1c1G）：osd3（iscsi）

这4台机器均为vmware的虚拟机，所以首先提供裸盘的性能测试指标

fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -size=5G  -name="EBS 4K randwrite test" -iodepth=1 -runtime=60

iodepth	iops	ResponsTime	95.00thRT	util	MBPS	type	iosize
1	4306	121.16	161	92.39	17.227	randw	4k
2	6180	186.95	245	100	24.722	randw	4k
4	6336	488.18	684	98.12	25.344	randw	4k
8	5928	1196.49	2256	96.76	23.715	randw	4k
16	6460	2331.19	5152	97.73	25.84	randw	4k
64	6496	9708.59	19000	97.96	25.986	randw	4k
4	6336	488.18	684	98.12	25.344	randw	4k
4	8732	348	494	97.68	34.931	w	4k
4	12838	238.73	338	99.5	51.353	randr	4k
4	8986	386.5	434	99.7	35.946	r	4k
4	12838	238.73	338	99.5	51.353	randr	4k
4	12575	244.32	338	99.94	100.602	randr	8k
4	11625	270.07	366	99.66	186.01	randr	16k
4	6851	520.29	636	99.47	438.515	randr	64k
4	1598	2408.44	2576	99.36	409.216	randr	256k

将ceph通过前文提高的方式（文件系统为xfs）挂载到本地目录，在本地目录做测试，测试结果如下：

iodepth	iops	ResponsTime	95.00thRT	util	MBPS	type	iosize
1	324	3030	4128	100	1.2996	randw	4k
2	429	4620	9000	99.97	1.7164	randw	4k
4	463	8600	18000	100	1.8524	randw	4k
8	465	17170	36000	99.99	1.8604	randw	4k
16	488	32700	74000	99.97	1.9541	randw	4k
64	502	127390	343000	100	2.0088	randw	4k
4	463	8600	18000	100	1.8524	randw	4k
4	550	7250	15000	99.99	2.2019	w	4k
4	339	11756.33	39680	100	1.3582	randr	4k
4	48503	80.3	18000	99.77	194.015	r	4k
4	48503	80.3	18	99.77	194.015	r	4k
4	29752	131.66	900	99.67	238.021	r	8k
4	16610	236.39	956	99.56	265.772	r	16k
4	4499	875.49	1448	99.57	287.96	r	64k
4	1644	2380.67	4384	99.57	420.912	r	256k

测试结果有很多和我预期不符合的地方，后续的文章将针对测试方法以及测试结果做分析，试图说明其中的原因。