第
1
则
-文档简介-
ceph对象存储集群是一个高可用、智能化的分布式对象存储系统,支持自修复,自管理等底层数据管理功能,目前已广泛应用于各个领域中。
本文旨在部署ceph集群且配置相同参数条件下,从前端和后端,大文件和小文件上,分别对ARM服务器和x86服务器进行的性能测试,且对二者的测试结果进行性能对比并分析;其中ARM和x86服务器集群均使用SSD盘来存储元数据信息。
第
2
则
-性能测试范围-
3副本模式下的,L版(12.2.5)的小文件64K和大文件4M的读,写和删除性能(cosbench和radosbench (删除没有测试))
第
3
则
-性能测试组织资源-
系统性能测试资源需求包括:
测试人员:1名
分析人员:1名
测试机:ARM集群/x86集群
测试周期:20天/人
第
4
则
-性能测试环境-
分别介绍ARM集群和x86集群的硬件配置、软件配置,以及集群服务部署。
4.1 ARM测试环境
4.1.1集群硬件配置
本小节介绍下ARM集群的硬件配置环境,包括集群的组网拓扑,单台ARM服务器机箱的内部结构以及详细的硬件配置。
(1)集群组网拓扑
(图1 ARM集群组网拓扑)
(2)ARM服务器机箱内部架构
(图2 ARM机箱内部架构)
(3)ARM机器硬件详细配置
4.1.2 软件配置
4.1.3 集群服务部署
4.2 x86测试环境
4.2.1 集群硬件配置
4.2.2 软件配置
4.2.3 集群服务部署
第
5
则
-性能测试和总结-
5.1 前端
此次共选举了64K、4M对象的测试用例,通过cosbench测试工具对系统的性能进行测试记录,并记录测试数据
5.1.1 64K
64K小文件对象采用250并发,300万对象的用例,进行对比测试并分析。下图中,分别从处理时间、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,x86集群的写性能约是ARM的9倍,读性能是ARM的4倍,删除是ARM的4.5倍。
5.1.2 4M
4M大文件对象采用200并发,30万对象的用例,进行对比测试并分析。下图中,分别从处理时间、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,大文件下,x86集群的写性能是ARM的1.3倍,读性能略优于ARM,删除性能是ARM的10倍。
5.2 后端
此次共选举了64K、4M对象的测试用例,通过radosbench测试工具对系统的性能进行测试记录,并记录测试数据。
5.2.1 64K
64K小文件对象的后端测试,共列举在多种并发数下,运行300s的测试情况,进行对比测试并分析。下面分别列举多种并发情况下的测试结果。
(1)32并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,32并发下,x86写性能是ARM的14倍,读性能约是ARM的2倍。
(2)64并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,64并发下,x86写性能是ARM的10.7倍,读性能是ARM的1.36倍。
(3)128并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,128并发下,x86写性能是ARM的7.5倍,读性能差距不大。
(4)256并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,256并发下,x86写性能是ARM的6倍,读性能和ARM差距不大。
(5)512并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,512并发下,x86写性能是ARM的4.5倍,读性能是ARM的1.25倍。
5.2.2 4M
4M大文件对象的后端测试,共列举在多种并发数下,运行300s的测试情况,进行对比测试并分析。下面分别列举多种并发情况下的测试结果。
(1)8并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看:8并发下,x86写性能是ARM的4.7倍,读性能是ARM的1.7倍。
(2)16并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,x86写性能是ARM的3倍,x86读性能是ARM的1.3倍。
(3)32并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,x86写性能是ARM的2.3倍,读性能差距不大。
(4)64并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,x86写性能是ARM的2.3倍,ARM的读性能略优于x86。
(5)128并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:
从上述图表看,128并发下,x86写性能是ARM的2.2倍,ARM的读性能略优于x86。
5.3 总结
从后端测试结果看,ARM的读性能与x86的读性能差别不是很大,而写性能差别较大。小文件下,在不同的并发数目下,x86的写性能约是ARM写性能的5-30倍,而从数据对比看,小文件测试下,x86在小并发数目下的性能优势更明显,大文件下,x86的写性能是ARM的2-3倍,而针对读性能,x86与ARM服务器差距不明显。
从前端测试结果看,小文件下,x86的写性能是ARM的9倍,读性能是ARM的4倍,删除是ARM的4.5倍;大文件下,x86的写性能是ARM的1.3倍,读性能略优于ARM;不过测试读数据时,x86和ARM的带宽皆接近满负荷,所以若需精确比较二者大文件下的读性能差异,还需部署更高网络带宽环境进行测试比较。大文件下,x86的删除性能是ARM的10倍。
目前从测试结果看,ARM服务器的性能与x86服务器的性能差距较大,怀疑原因之一是ARM服务器采用了32位处理器,后续ARM服务器会继续深入研究最佳方案,并采用64位处理器,以检测性能是否有所提升。
END
往期精选