解读分布式对象存储系统Sheepdog性能测试

Sheepdog是一个分布式对象存储系统，专为虚拟机提供块存储，号称无单点、零配置、可线性扩展（省略更多优点介绍）。本文主要关注其性能究竟如何，测试版本为目前的最新稳定版0.7.4。

　　测试环境

　　节点数量：6个

　　磁盘：各节点都配备7200转SATA硬盘，型号WDC WD10EZEX-22RKKA0，容量为1TB，另外测试节点（即用于启动虚拟客户机的宿主机）多配置一块SSD硬盘，型号INTEL SSDSA2CW300G3，容量为300GB

　　网络：测试节点配备PCI-E双千兆网卡，通过bonding进行负载均衡

　　文件系统：ext4fs，挂载参数：rw,noatime,barrier=0,user_xattr,data=writeback

　　sheepdog集群

　　可用空间：6个节点各分配100GB，总共600GB

　　对象副本数量：3个，客户机实际最大可用空间为200GB，接近项目规划的容量

　　对象缓存：使用SSD硬盘，分配256GB，可完全缓存客户机文件系统，随测试项目需要挂载或卸载

　　虚拟客户机

　　资源：4GB内存，4个逻辑CPU

　　使用qemu 1.7启动，支持KVM加速、virtio

　　两大测试项目

　　IOPS：主要考察较小数据块随机读和写的能力，测试工具fio（sudo apt-get install fio），测试文件固定为150GB

　　吞吐量：主要考察较大数据块顺序读或者写的能力，测试工具iozone（sudo apt-get install iozone3），测试文件从64MB倍数递增到4GB，如没有特别说明，测试结果取自操作512MB的数据文件

　　除特别说明，qemu启动虚拟客户机命令如下：

　　qemu-system-x86_64 --enable-kvm -m 4096 -smp 4 -drive file=sheepdog:mint,if=virtio,index=0 \ -drive file=sheepdog:data,if=virtio,index=1 -net nic,model=virtio -net user -vnc :1 -daemonize

　　IOPS测试

　　测试须知

　　关于SATA硬盘的IOPS

　　测试用的普通7200转SATA硬盘，官方公布其平均寻道时间10.5毫秒，所以，根据以下公式，理论上的IOPS值最多只有65。

　　实测结果，在单线程同步IO的情况下（下图深蓝线），也是65，在多任务（紫线）或者使用异步IO（黄线）的情况下，由于操作系统IO调度，IOPS能够达到80到100之间。如果进行读写操作的文件远远小于SATA磁盘大小，缩小了存储单元寻址范围，减少了全磁盘寻道时间，也能提高IOPS，例如，测试文件大小占磁盘大小的1/8的时候，IOPS最高在90左右（浅蓝线）。

　　关于SSD硬盘的IOPS

　　测试用的SSD硬盘，在单线程同步IO的情况下，IOPS最多能够达到9000左右（下图深蓝线），在多任务（紫线）或者异步IO（黄线）的情况下，最多能够达到40000-50000之间。由于构造原理不同于传统磁盘，减小测试文件大小并不能明显提高IOPS。

　　关于读写比例

　　由于大多数业务场景既有读操作，也有写操作，而且一般读操作比写操作多很多，因此，读写混合测试项目中的读写比例设定为4:1。一般业务很少有完全随机写的情况，因此不进行只写测试。

关于电梯算法

　　虚拟的客户机操作系统的IO调度算法使用noop，网上有资料能够提高IOPS，但是实测效果不明显，因此最终报告并没有把它单列出来。

　　IOPS测试1：不使用对象缓存，只读测试

　　单线程同步IO的情况下（下图深蓝线），sheepdog的IOPS差不多达到100，比单节点单SATA硬盘高，究其原因：客户机中的测试文件为150GB，共有三个副本，即共占450GB，集群有6个节点，平均每个节点75GB，而各个节点所在磁盘容量为1TB，仅占其1/13，因此，无其它IO任务的情况下，IOPS会比全磁盘随机操作高。

　　减少客户机的测试文件大小为原来的1/8，即19GB，IOPS能够达到130-140左右，验证了无其它IO任务的情况下，测试文件越小，IOPS越高（浅蓝线）。

　　恢复客户机的测试文件为150GB，在多任务（线程数量为10，紫线）或者异步IO（队列深度为10，黄线）的情况下，IOPS可达230-250。

　　250左右是否该sheepdog集群的极限？进一步换其它numjob和iodepth的组合进行测试，答案是肯定的，测试结果都在250左右，以下是线程数量为8，异步IO队列深度分别为1、4、16、64、256的测试结果，线程数量增加到16，测试数据并没有提高。

　　IOPS测试2：使用对象缓存，只读测试

　　单线程同步IO、使用对象缓存且缓存命中率100%的情况下（下图蓝线），sheepdog的IOPS最高可达6000，对比相同条件下SSD硬盘的测试结果（最高9000），还是有些损耗。

　　通过多任务（紫线）或者异步IO（黄线）的方式提高并发IO数量，在缓存命中率100%的情况下，IOPS可以提高到40000-50000，基本与相同条件下SSD硬盘的测试结果相当。

　　注意上图为对数刻度，且没有数据值，很难比较数值大小，下图省略了一半数据块，但是标上了数据值。

　　之所以强调缓存命中率，是因为在不完全命中缓存的时候，IOPS下降很厉害，低于80%的话，可能还不如没有对象缓存。下图是sheepdog对象缓存命中率与IOPS的关系图，其中，测试的数据块大小从512B倍数递增到512KB，缓存命中率是在测试过程中，根据sheepdog的cache目录中已有的对象文件数量估算的平均值，IOPS值是读取数据块操作在估算的缓存命中率条件下测量的平均值。