Ruby基准评测套件初探

随着Ruby实现数目的增长，人们的兴趣已经不仅仅是通过测试集合比较兼容性了（参阅RubySpec项目），而且还包括对不同实现进行基准评测。

Antonio Cangiano启动了Ruby基准评测套件项目。我们对Antonio进行了访问，了解到关于基准评测套件、套件中计划的代码类型以及其他开发者如何参与等信息。

我们询问了Antonio关于Ruby基准评测套件的计划：

Ruby 基准评测套件的主意来源于我们目前缺乏一个标准集合来衡量各个Ruby实现的性能。在我的上一次评比中，我使用的评测集合是我从Ruby 1.9的代码仓库中获取的，因为比较方便。仅凭这些测试显然不适合测量出真实的性能来。一台空转的虚拟机比另外一台快，并不意味着它们在运行系统管理脚本 或者Rails应用的时候具有同样的可比性。

因此 标准基准评测的目标是通用化，以便能代表Ruby应用真实环境的诸多方面。目前我们将基准评测分为以下部分：

• 核心特性：严格执行语言特性的基准评测，除了基本算术以外几乎不需求库中类型。
• 核心库：专门执行Ruby的核心库中类和方法的评测。
• 标准库：专门执行Ruby的标准库中类和方法的评测。
• 小型评测：远离真实环境的小型通用评测。例如，对于从计算机语言评测游戏中引入的评测或者是一些经典算法。
• 真实环境：可能是最有趣的分类了，它包括了从真实环境的程序中提取的大型评测。例如，一个优秀的日志处理脚本是很适合这个分类的。

从目前收集到的反馈和一些可选Ruby实现的开发者们（包括GemStone、Microsoft、Engine Yard和Sun的开发者们）的兴趣程度来看，我相信这个项目成功很可能会成功。

我们也询问了关于他如何组织评测的，Antonio回答到：

目前他们还都是单独的基准评测，不过我计划编写一个脚本来运行它们并报告一些测试值，包括CPU时间和内存使用。很大可能下一次评测仅仅分析执行时间，但是从长远来看内存消耗是不可忽视的，这也是服务器的一个特别重要的方面。

Tim Bray已经重新启动他的RX Ruby分词器并贡献到评测套件当中。Antonio也号召其他人来为套装做贡献：

这个项目是开源项目，基于MIT证书发布，所以欢迎任何人来贡献。我们目前托管在 GitHub之上，普通贡献者可以对代码仓库进行写操作。那些对于GitHub或者Git不熟悉的贡献者们，也可以将基准点通过email发送给我（acangiano at gmail dot com）或者直接通过 我们的Google群组。

最佳的基准测试往往是你自己的程序，所以最有价值的贡献莫过于从真实程序中抽取的那些了，最好是来自于不同的类型（文本处理、XML处理和数字运算等 等）。刚刚提到的log处理器只是其中一个想法。例如在真实环境评测的部分，我们引入了Borasky先生的矩阵基准评测，因为其代码来自实际的数字计算 （如果不是的话就不会有那么对针对C库的优化了）。

经典算法和其他的小型评测也欢迎提交，然而正如刚才所提到的，我们需要那些能够反应虚拟机在真实环境中的性能的评测点，这样才没有争议。例如，Yarv比Ruby 1.8.6快上三倍，然而在跑真实的应用时平均只快了50%左右。 另外要说的是，标准库部分也需要贡献，因为我们需要提升标准库中对类和方法的覆盖率。

我们还有兴趣知道究竟套件是仅专注于Ruby核心和标准库，还是对扩展库也进行基准评测：

我 计划如此，至少是一部分特定扩展，我们不像把套件弄得巨大。我们需要意识到许多Ruby程序员依赖于例如ActiveRecord或者 ActiveSupport这样的库，并希望看到在不同的虚拟机上这些库的表现如何。事实上，在将来的评测中，测试诸如Rails或者Merb这样的流行 框架可不是个坏主意。不成熟的虚拟机尚不能运行它们，但是这也是对评估可选Ruby实现感兴趣的用户来说很重要的信息。

最近的一次Ruby评测是在2007年的12月份，我们询问了下一次的时间安排：

我计划在6月24日运行评测并于30日以前将结果公布在我的blog上。这些天我的大部分时间都用于为Wrox出版社编写图书 Ruby on Rails for Microsoft Developers了。 因此24日并不是一个随意的日子。那天这是我第三章的截止日期。如果你关注的话，我将会在Mac OS X、Linux（包括32位和64位）以及Windows Vista上测试Ruby 1.8.x、Ruby 1.9、JRuby、Rubinius、IronRuby、MacRuby、Ruby Enterprise Edition和MagLev（如果支持的话）。你需要为测试用上数天，不过我将在30日来做这件事情。

查看英文原文：Introducing the Ruby Benchmark Suite