TPC基准程序及tpmc值-兼谈在使用性能度量时如何避免误区

TPC基准程序及tpmc值 ─ 兼谈在使用性能度量时如何避免误区 　　今天的用户在选用平台时面对的是一个缤纷繁杂的世界。用户希望有一种度量标准,能够量化计算机系统的性能，以此作为选型的依据。作者曾在美国从 事过数年计算机性能评价工作，深深体会到，计算机的性能很难用一两种度量来 评价，而且，任何度量都有其优缺点，尤其是当使用者对性能度量了解不深时，很 容易被引入一些误区，甚至推演出错误的结论。本文以TPC基准程序为例，给出一 些实际建议，以帮助用户避免进入这些误区。 一、什么是TPC和tpmC? 　　tpmC值在国内外被广 泛用于衡量计算机系统的事务处理能力。但究竟什么是tpmC值呢?作者曾向一些 用户、推销人员乃至某些国外大公司的技术人员问过这个问题，但回答的精确度 与tpmC值的流行程度远非相称。tpmC这一度量也常被误写为TPM或TPMC。 1、TPC 　　TPC(TransactionProcessing PerformanceCouncil，事务处理性能委员会)是由数10家会员公司创建的非盈 利组织，总部设在美国。该组织对全世界开放，但迄今为止，绝大多数会员都是美、 日、西欧的大公司。TPC的成员主要是计算机软硬件厂家，而非计算机用户，它的功 能是制定商务应用基准程序(Benchmark)的标准规范、性能和价格度量，并管理测 试结果的发布。 　　TPC的出版物是开放 的，可以通过网络获取(http://www.tpc.org)。TPC不给出基准程序的代码，而只 给出基准程序的标准规范(StandardSpecification)。任何厂家或其它测试者都 可以根据规范，最优地构造出自己的系统(测试平台和测试程序)。为保证测试结 果的客观性，被测试者(通常是厂家)必须提交给TPC一套完整的报告(FullDisclosure Report)，包括被测系统的详细配置、分类价格和包含五年维护费用在内的总价 格。该报告必须由TPC授权的审核员核实(TPC本身并不做审计)。现在全球只有几 个审核员，全部在美国。 2、tpmC 　　TPC已经推出了四套 基准程序，被称为TPC－A、TPC－B、TPC－C和TPC－D。其中A和B已经过时，不再使 用了。TPC－C是在线事务处理(OLTP)的基准程序，TPC－D是决策支持(DecisionSupport) 的基准程序。TPC即将推出TPC－E，作为大型企业(Enterprise)信息服务的基准程 序。 　　TPC－C模拟一个批发 商的货物管理环境。该批发公司有N个仓库，每个仓库供应10个地区，其中每个地 区为3000名顾客服务。在每个仓库中有10个终端，每一个终端用于一个地区。在运 行时，10×N个终端操作员向公司的数据库发出5类请求。由于一个仓库中不可能 存储公司所有的货物，有一些请求必须发往其它仓库，因此，数据库在逻辑上是 分布的。N是一个可变参数，测试者可以随意改变N，以获得最佳测试效果。 　　TPC－C使用三种性能 和价格度量，其中性能由TPC－C吞吐率衡量，单位是tpmC。tpm是transactionsper minute的简称；C指TPC中的C基准程序。它的定义是每分钟内系统处理的新订单 个数。要注意的是，在处理新订单的同时，系统还要按表1的要求处理其它4类事务 请求。从表1可以看出，新订单请求不可能超出全部事务请求的45％，因此，当一个 系统的性能为1000tpmC时，它每分钟实际处理的请求数是2000多个。价格是指系 统的总价格，单位是美元，而价格性能比则定义为总价格÷性能，单位是＄/tpmC。 二、如何衡量计算机系统的 　　性能和价格 　　在系统选型时，我们一 定不要忘记我们是为特定用户环境中的特定应用选择系统。切忌为了“与国际接 轨”而盲目套用“国际通用”的东西。在性能评价领域，越是通用的度量常常越是不 准确的。据我所知，美国的一些大用户从不相信任何“国际通用”的度量，而是花相 当精力，比如预算的5％，使用自己的应用来测试系统，决定选型。在使用任何一种 性能和价格度量时，一定要弄明白该度量的定义，以及它是在什么系统配置和运 行环境下得到的，如何解释它的意义等。下面我们由好到差讨论三种方式。 1、在真实环境中运行 实际应用 　　最理想的方式是搞一 个试点，要求制造商或系统集成商配合将系统(含平台、软件和操作流程)在一个 实际用户点真正试运行一段时间。这样，用户不仅能看到实际性能，也能观察到系 统是否稳定可靠、使用是否方便、服务是否周到、配置是否足够、全部价格是否合 理。如果一个部门需要购买一批同类的系统，这种方式应列为首选，因为它不仅最 精确、稳妥，也常常最有效率，用户还可先租一套系统作为试点。用这种方式得到 的度量值常常具有很明确和实际的含义。 2、使用用户定义的基 准程序 　　如果由于某种原因第 一种方式不可行，用户可以定义一组含有自己实际应用环境特征的应用基准程序。 我举两个例子：近年来，由于R/3软件是应用层软件，SAP公司的基准程序获得了越 来越多国外企业的认可；中国税务总局最近也开发了自己的基准程序，以帮助税 务系统进行计算机选型。这种方式在中国尤其重要，因为中国的信息系统有其特 殊性。 3、使用通用基准程序 　　如果第1种和第2种方 式都不行，则使用如TPC－C之类的通用基准程序，这是不得已的一种近似方法。因 此，tpmC值只能用作参考。我们应当注意以下几点： (1)实际应用是否与基准程序相符 　　绝大多数基准程序都 是在美国制订的，而中国的企事业单位与美国的运作方式常常不一样(恐怕也不 应该或不可能一样)。在使用TPC－C时，我们应该清楚地知道：我的应用是否符合 批发商模式?事务请求是否与表1近似?对响应时间的要求是否满足表1?如果都不 是，则tpmC值的参考价值就不太大了。 (2)TPC度量的解释 　　TPC基准程序是用来 测系统而不是测主机的，厂家肯定要充分优化他们的被测系统。此处的“系统”包 括主机、外设(如硬盘或RAID)、主机端操作系统、数据库软件、客户端计算机及其 操作系统、数据库软件和网络连接等。在很多厂家的TPC测试系统中，主机的价格 只是系统总价格的1/4或更小，而硬盘的价格有可能占到总价格的1/3以上，因为TPC －C要求被测系统必须保存180天的事务记录。如果同样的主机被用到用户的环境 中，厂家报的tpmC值就意义不大，因为用户的实际系统与厂家原来用于TPC测试 的系统大不一样。当同样的主机用在不同的系统中时，tpmC值可能有相当大的变 化，现在很多用户还没有意识到这一点。 　　我举一个例子。假设用 户希望购买一批同类系统，每一系统至少需要1GB的内存和50GB的硬盘。厂家A、B、C 各报了三个价格相当的系统，tpmC值分别为3000、2800、2600。用户是否应该选厂 家A的产品呢?答案是：不一定。厂家用于测试tpmC值的系统与实际提供给用户的 系统配置大不一样。tpmC最低的厂家C提供给用户的系统反而有可能性能最好，不 论是以实际系统的tpmC值还是以用户的实际应用性能来衡量。 (3)TPC测试的成本 　　TPC－C和TPC－D都是 很复杂的基准程序，做一个严格的测试是很消耗资源的，厂家当然不会说出他们 花费了多少钱和时间。但据国外知情人士透露，一个厂家做第一个TPC－C测试需 要几十万到上百万美元的资金和半年左右的时间投入。因此，很多TPC的度量值都 是估计的。由于计算机系统换代频繁，如果用户一定要用通过审核的度量值，就必 须多等待半年时间，因此而不能用最先进的系统。中国的厂家通过审核的时间则 更长。 　　综上所述，我们对中国 用户(尤其是大用户)在计算机系统的选型方面有如下建议： 最好建立一个真实的试点，因为实际应用环境是检验计算机系统的最好标准。 中国的行业应该建立符合自己实际应用的基准程序和测试标准。中国税务总局的做法值得提倡。国家有关部门应该建立独立的测试中心，制定跨行业、符合中国企事业运作模式的性能测试标准。 “国际通用”的度量可以作为参考值，而不应作为必要条件。尤其是一定要弄清这些流行度量有什么含义，是在什么样的系统环境中测得的，以及基准程序是否符合企业真实的业务流程和运作模式。