DIFFER，一种用于测试和验证转换程序的新工具

我们最近发布了一个新的差异测试工具，称为 DIFFER，用于查找转换后的程序中的错误和健全性违规。 DIFFER 结合了差分、回归和模糊测试的元素，帮助用户发现被软件重写、反膨胀和强化工具更改的程序中的错误。我们使用 DIFFER 评估了 10 个软件反膨胀工具，发现这些工具生成的转换程序中有 71% 存在反膨胀故障或健全性违规。

DIFFER 满足了转型后软件验证的关键需求。程序转换工具通常将此任务完全留给用户，除了通过现有单元/集成测试和模糊器进行回归测试之外，用户通常几乎没有（如果有的话）工具。这些方法自然不支持针对原始版本测试转换后的程序，这可能会导致微妙和新颖的错误进入修改后的程序。

我们将提供一些促使我们创建 DIFFER 的背景研究，更详细地描述它的工作原理，并讨论它的未来。

如果您更喜欢直接查看代码，请查看GitHub 上的 DIFFER。

软件转型在过去十年中一直是热门研究领域，其主要原因是保护遗留软件的需要。在许多情况下，这必须在没有软件源代码（仅限二进制）的情况下完成，因为它已经丢失，被供应商锁定，或者由于过时的构建链而无法重建。该领域出现的较流行的研究主题包括二进制提升、重新编译、重写、修补、强化和反膨胀。

虽然为实现这些目标而构建的工具已经取得了一些成功，但它们也存在重大风险。当编译器将源代码降低为二进制文件时，一旦不再需要上下文信息，它们就会丢弃。一旦程序被降级为二进制，安全修改原始程序所需的上下文信息通常无法完全恢复。因此，直接修改程序二进制文件的工具可能会无意中破坏它们并引入新的错误和漏洞。

虽然 DIFFER 与应用程序无关，但我们最初构建此工具是为了帮助我们查找程序中的错误，这些程序已使用去膨胀工具（例如Carve、Trimmer、Razor）删除了不必要的功能。一般来说，软件反膨胀器试图通过删除可能包含潜在漏洞或被攻击者使用代码重用利用模式重用的不必要的代码来最小化程序的攻击面。

反膨胀工具通常对程序执行分析传递，以将功能映射到执行它们所需的代码。然后，使用这些映射来删除与用户不想要的功能相对应的代码。然而，这些削减可能不精确，因为生成映射依赖于二进制恢复等不精确的分析步骤。因此，在切割过程中，新的错误和漏洞可能会被引入到已膨胀的程序中，这正是我们设计 DIFFER 所要检测的。

DIFFER 如何运作？

在较高层次上，DIFFER（如图所示）用于针对程序的一个或多个修改变体测试程序的未修改版本。 DIFFER 允许用户指定与未修改和修改的程序行为和功能相对应的种子输入。然后，它使用这些输入运行原始程序和转换后的变体，并比较输出。此外，DIFFER 支持对这些种子输入进行基于模板的突变模糊测试。通过提供突变模板，DIFFER 可以最大化其对输入空间的覆盖范围并避免遗漏错误（即漏报）。

当给定与未修改的特征相对应的输入时，DIFFER 期望看到原始程序和变体程序的相同输出。相反，当它执行具有与修改后的功能相对应的输入的程序时，它期望看到不同的输出。如果 DIFFER 检测到意外的匹配、不同或崩溃的输出，它会将它们报告给用户。这些报告帮助用户识别由于转换过程或其配置而导致的修改程序中的错误。

配置 DIFFER 时，用户可以选择一个或多个比较器来比较输出。虽然 DIFFER 提供了许多内置比较器来检查基本输出，例如返回代码、控制台文本和输出文件，但通常需要更高级的比较器。为此，DIFFER 允许用户为数据包捕获等复杂输出添加自定义比较器。自定义比较器还可以通过定义输出中允许的差异（例如控制台输出中的时间戳）来减少误报报告。我们的 DIFFER 开源版本包含许多有用的比较器实现，可帮助用户轻松编写自己的比较器。

然而，DIFFER 不会也不能提供转换工具或其生成的修改程序的健全性的正式保证。与其他动态分析测试方法一样，DIFFER 无法在一般情况下详尽地测试复杂程序的输入空间。

用例：评估软件 debloators

在我们最近与 GrammaTech 的朋友合作进行的一项研究中，我们使用 DIFFER 来评估由 10 种不同的软件去膨胀工具创建的去膨胀程序。我们使用这些工具从 20 个不同大小、复杂性和用途的不同程序中删除了不必要的功能。

这些工具总共创建了 90 个去膨胀的变体程序，然后我们使用 DIFFER 对其进行了验证。 DIFFER 发现，其中 39 个（约 43%）变体仍然具有去膨胀工具无法删除的特征。更糟糕的是，DIFFER 发现 25 个（约 28%）变体在去膨胀后要么崩溃，要么在保留的特征中产生错误的输出。

通过发现这些故障，DIFFER 已证明自己是一种有用的转换后验证工具。尽管这项研究的重点是去膨胀转换，但我们要强调的是，DIFFER 足够通用，可以测试其他转换工具。

例如用于软件强化（例如，CFI、堆栈保护）、转换（例如，C-to-Rust 转换器）的工具和代理（例如，ML 代理生成器）。

下一步是什么？

随着 DIFFER 现在作为开源软件提供，我们邀请安全研究社区通过拉取请求使用、扩展和帮助维护 DIFFER。

随着我们继续研究和开发 DIFFER，我们计划了几项具体改进，包括以下内容：

■ 支持在 Docker 容器中运行二进制文件以减轻环境负担。
■ 添加新的内置比较器。
■ 添加对需要超级用户权限的目标的支持。
■ 支持监控构成分布式系统的多个进程。
■ 添加运行时比较器（通过检测等）以进行“深度”等效性检查。