详解服务器性能测试基准体系

20世纪90年代，TPC(Transaction Processing Performance Council，事务处理性能委员会)成立，Benchmark(基准测试)随之走上历史舞台，企业采购服务器时，除主观三围指标之外，理性的光芒开始闪耀。

 

TPC单位为tpmC，对系统在线事务处理能力进行评价，表示每分钟内系统处理新订单的个数，主要模拟企业的MIS、ERP等系统来考验服务器联机业务处理能力。

 

SPEC(标准性能评估机构)是另一个全球性的、权威的第三方应用性能测试组织，它旨在确立、修改和认证一系列服务器应用性能评估的标准。目前主要包括：

 

• 针对CPU性能的SPECCPU2000、SPEC CPU2006

• 针对Web服务器的SPECWeb2005

• 针对高性能计算的SPEC HPC2002与SPEC MPI2006

• 针对Java应用的SPECjAppServer2004与SPEC JBB2005，以及对图形、网络、邮件服务器的测试指标。

 

此外，还有常见的四大应用中的基准测试和专用基准测试：

• 1)高性能计算（HPC）：Linpack…

• 2)在线事务处理（OLTP）：TPC-C…

• 3)Web服务：SPEC Web2005、TPC-W

• 4)Java应用服务器：SPECjbb2005

 

专用基准测试：

• 1) Oracle基准测试

• 2) SAP基准测试等

 

SPEC基准测试介绍

 

SPEC是一个全球性的、权威的第三方应用性能测试组织，它旨在确立、修改以及认定一系列服务器应用性能评估的标准。由于它体现了软、硬件平台的性能和成本指标，被金融、电信、证券等关键行业用户作为选择IT系统一项权威的选型指标。

 

 SPEC组织始建于1988年，当时是由几个计算机设备供应商为了开发和支持大范围的计算机系统的性能测试程序而成立的，今天这个组织有60多家知名公司加入和支持，如：Intel、AMD、IBM、HP等公司。

SPEC提供用于评估邮件服务器、WEB服务器、文件服务器、超级计算机和计算机集群、CPU、专业图形应用等方面的评估软件。SPEC组织提供的相关性能基准在计算机领域被广泛认可。

 

SPEC组织针对服务器应用性能制定了10大测试基准、几十多种测试模型。最常用的测试模型有SPEC CPU、SPEC WEB、SPEC Power等。

                           

SPEC服务器应用性能测试的测试成绩可以为如下行业应用的系统采购提供重要的参考指标。

• 1. 银行：银行综合业务系统、银行证券交易系统、信用卡业务系统、综合业务计算机网络系统等

• 2. 金融证券：国税统一税收征管系统、基金注册和交易系统平台建设、证券集中交易系统

• 3. 保险：保险公司综合业务系统建设

• 4. 电信：电信计费系统、综合计费帐务系统、客服系统平台建设、用户认证和管理系统、移动计费营业系统、联通综合客服系统、宽带运维系统

• 5. 政府：大中型电子政务系统

 

SPEC基准测试模型分类

 

以CPU为例说明SPEC模型分类，SPEC CPU测试按照编译器优化方式分为基本测试base和最优化测试peak两种。

• 基本测试base结果包括：SPECint_base2006、SPECfp_base2006、SPECint_rate_base2006、SPECfp_rate_base2006四种类型。

• 最优化测试peak结果包括：SPECint®2006、SPECfp®2006、SPECint®_rate2006、SPECfp®_rate2006四种类型。

 

SPEC CPU按照测试方法分为speed测试和rate测试两种，speed测试主要关注完成一项工作需要多少时间，考验的是CPU单线程任务处理能力；而rate测试主要关注一定时间内完成多少工作，考验的是CPU并发处理能力。

• speed结果包括：SPECint_base2006、SPECfp_base2006、SPECint®2006、SPECfp®2006四种类型；

• rate测试结果包括：SPECint_rate_base2006、SPECfp_rate_base2006、SPECint®_rate2006、SPECfp®_rate2006四种类型。

 

SPEC文件系统测试模型

 

SPECsfs2008是针对文件服务应用的核心测评基准，衡量NAS系统中文件访问的吞吐量和响应时间。已有近近百家主流NAS制造商通过该评测基准的验证。

 

在文件系统中，SPEC测试取得高性能（以500万为例）的OPS（OperationPer Second）意味着客户可以得到更高的性能和扩展性支撑不断增长的业务需要，一秒钟同时浏览60万张淘宝图片（更高的利润），一秒钟完成45万个电子票据的保存（更高的效率），一秒钟同时支持1750个高清电视频（更优的体验），一秒钟完成高分辨率卫星影像。

 

对存储厂商自身而言，这也是验证产品能力的方案之一，是存储厂商能力的体现。整个系统的设计需要多种软硬件技术的融合之美。例如：采用元数据和业务服务的动态扩展技术、数据分布的均衡设计、全IP互联设计；内存保电加速技术、RDMA over TCP加速；自动热点数据识别技术、灵活的分级存储技术等。

 

SEPC测试测试结果查询

 

在项目实践中，我们不仅需要提供具体的测试值，还需要提供权威的第三方测试报告给客户。在这里以CPU的CINT2006rate为例，简单介绍下如何查询服务器SPEC测试报告。

 

1) 首先登陆SPEC官方的查询系统SPEC/OSG Result Search Engine，在AvailableConfigurations的下拉菜单中，选择需要查询的测试类型。

2) 在该系统中，提供了丰富的查询类别，如硬件供应商，CPU型号等，根据需要查询的具体服务器信息可以进行精细或模糊查询。

3) 对副本和发布日期也可以做限定，之后可以根据需要选择输出的类型和格式。

 

4) 完成后，选择FetchResults查询结果。查询结果如下所示，可以通过右侧链接下载不同格式的第三方官方测试报告。

 

TPC基准测试模型介绍

 

TPC(Transaction Processing Performance Council，事务处理性能委员会)是由数十家会员公司创建的非盈利组织，总部设在美国。TPC的成员主要是计算机软硬件厂家，而非计算机用户，其功能是制定商务应用基准程序的标准规范、性能和价格度量，并管理测试结果的发布。

 

TPC不给出基准程序的代码，而只给出基准程序的标准规范。任何厂家或其他测试者都可以根据规范，最优地构造出自己的测试系统(测试平台和测试程序)。为保证测试结果的完整性，被测试者(通常是厂家)必须提交给TPC一套完整的报告(Full Disclosure Report)，包括被测系统的详细配置、分类价格和包含5年维护费用在内的总价格。该报告必须由TPC授权的审核员核实(TPC本身并不做审计)。 TPC在全球只有不到10名审核员，全部在美国。

 

TPC基准测试规范说明

TPC-C使用三种性能和价格度量，针对数据库不同的使用场景TPC组织发布了多项测试标准。其中被业界广泛接受和使用的有TPC-C 、TPC-H和TPC-DS。

其中性能由tpmC（transactions per minute，tpm）衡量，C指TPC中的C基准程序。它的定义是每分钟内系统处理的新订单个数。TPC-C是针对OLTP的测试，TPC-H和TPC-DS则是针对OLAP的测试

 

TPC-C值评估原则

• 评估原则1：同等配置下，不同厂家设备的TPMC性能是相当的。

• 评估原则2：tpmC值与SPECint_rate_base值呈正比。

• 评估原值3：tpmC值与CPU个数呈正比 

 

在tpmC官网上查询一款CPU对应的tpmC值；查询这款CPU的SPECint_rate_base，用tpmC/ SPECint_ rate_base得到一个比例系数；根据需要求得tpmC值的CPU的SPECint_rate_base值乘以步骤2的系数可得tpmC值。

 

TPC-C还经常以系统性能价格比的方式体现，单位是$/tpmC，即以系统的总价格（单位是美元）/tpmC数值得出。这类系统具有比较鲜明的特点，这些规范特点主要表现如下：

• 1、多种事务处理并发执行，充分体现了事务处理的复杂性；

• 2、在线与离线的事务执行模式；

• 3、多个在线会话终端；

• 4、适中的系统运行时间和应用程序运行时间；

• 5、大量的磁盘I/O数据流；

• 6、强调事务的完整性要求（ACID);

• 7、对于非一致的数据库分布，使用主键和从键进行访问；

• 8、数据库由许多大小不一、属性多样，而又相互关联的数据表组成；

• 9、存在较多数据访问和更新之间的资源争夺。

内容分享结束，更多服务器精彩内容已经整理成“数据中心服务器知识全解”电子书，全书共190页，分18个章节。全书简要目录如下(详解目录和内容请通过“阅读原文”获取)

一、 服务器处理器芯片概述 1

1.1 ARM处理器和厂商介绍 2

1.1.1 ARM处理器架构新进展 8

1.1.2 ARM处理器的主流玩家 10

1.1.3 业界对ARM技术发展态度 10

1.2 RISC-V处理器和厂商介绍 11

1.3 MIPS处理器和厂商介绍 15

1.3.1 龙芯产品和新进展 15

1.4 Alpha处理器和厂商介绍 17

二、 处理器生态和软件堆栈 18

2.1 处理器软件堆栈架构概述 19

2.2  操作系统和预置软件堆栈 20

2.2.1 原生操作系统支持介绍 20

2.2.2 操作系统预置应用程序 20

2.3 通用应用程序移植分析 20

2.3.1 解释型语言应用程序移植 21

2.3.2 编译型语言应用程序移植 21

2.3.3 应用程序安装包 22

2.3.4 ARM与X86编译差异与解决方法 22

2.3.5 改善应用程序并发计算能力 24

>>>以下为简略目录

三、 RISC处理器几个关键知识和对比 25

四、 服务器基础知识概述 30

五、 服务器总线知识 50

六、 BIOS/UEFI固件知识 52

七、 服务器认证体系知识 54

八、 服务器CPU基础知识 54

九、 服务器内存基础知识 64

十、 服务器硬盘基础知识 70

十一、RAID基础知识 87

十二、网卡基础知识 93

十三、光纤和连接器基础知识 97

十四、光纤交换机基础知识 123

十五、GPU架构和相关知识 135

十六、FPGA架构和相关知识 179

十七、操作系统基础知识介绍

十八、服务器安全基础知识 196

更多架构师技术关知识请参考“架构师技术全店资料打包汇总(全)”电子书(32本技术资料打包汇总、详解目录和内容请通过“阅读原文”获取)。

温馨提示：

请识别二维码关注公众号，点击原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。