PromptBench: A Unified Library for Evaluation of Large Language Models

本文是LLM系列文章，针对《PromptBench: A Unified Library for Evaluation of Large Language Models》的翻译。

摘要

大型语言模型（LLM）的评估对于评估其性能和降低潜在的安全风险至关重要。在本文中，我们介绍了PromptBench，一个用于评估LLM的统一库。它由几个研究人员可以轻松使用和扩展的关键组件组成：提示构建、提示工程、数据集和模型加载、对抗性提示攻击、动态评估协议和分析工具。PromptBench被设计为一个开放、通用和灵活的代码库，用于研究目的。它旨在促进在创建新的基准、部署下游应用程序和设计新的评估协议方面的原始研究。代码位于：https://github.com/microsoft/promptbench并将得到持续支持。

1 引言

2 PromptBench

3 结论

我们介绍了PromptBench，一个LLM评估的统一框架。该库以模块化的方式设计，允许用户通过组合不同的模型、任务和提示来构建评估管道。它还促进了几个研究方向，如提示工程、对抗性提示攻击和动态评估。我们将PromptBench视为评估真实能力和探索当前LLM边界的第一步，并相信我们库的基准和分析结果可以为设计更稳健、更人性化的模型提供启示。PromptBench是一个长期项目，将积极维护。我们欢迎所有潜在贡献者的贡献。