Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models‘ Alignment

本文是大模型领域相关文章，针对《Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models’ Alignment》的翻译。

摘要

在将大型语言模型（LLM）部署到现实世界的应用程序中之前，确保一致性（即使模型的行为符合人类意图已成为一项关键任务。例如，OpenAI在GPT-4发布前花了六个月的时间对其进行迭代校准。然而，从业者面临的一个主要挑战是，在评估LLM输出是否符合社会规范、价值观和法规方面缺乏明确的指导。这种障碍阻碍了LLM的系统迭代和部署。为了解决这个问题，本文对评估LLM可信度时至关重要的关键维度进行了全面综述。该综述涵盖LLM可信度的七个主要类别：可靠性、安全性、公平性、抗滥用性、可解释性和推理性、遵守社会规范和稳健性。每个主要类别进一步划分为几个子类别，共有29个子类别。此外，还选择了8个子类别的子集进行进一步调查，设计并对几种广泛使用的LLM进行了相应的测量研究。测量结果表明，一般来说，更一致的模型往往在整体可信度方面表现更好。然而，在所考虑的不同可信度类别中，一致性的有效性各不相同。这突出了进行更细粒度的分析、测试和不断改进LLM对齐的重要性。通过阐明LLM可信度的这些关键维度，本文旨在为该领域的从业者提供有价值的见解和指导。理解和解决这些问题对于在各种应用中实现LLM的可靠和合乎道德的部署至关重要。

1 引言

2 背景

3 分类概述

4 可靠性

5 安全性

6 公平性

7 抗滥用性

8 可解释性和推理

9 社会规范

10 健壮性

11 样例：设计和结果

12 结论和挑战

在本文中，我们调查了LLM在对齐方面被认为是值得信赖的重要方面。我们提供了一个详细的分类法，并讨论了在这些维度上保持一致的挑战。如果存在相应的潜在解决方案，我们也会对文献进行调查。除了我们提出的分类法，我们还为选定的一组维度提供了详细的测量研究。我们展示了如何构建数据集来自动评估LLM对齐度量。我们观察到，更对齐的LLM（基于公开声称的关于执行的对齐的信息）通常表现得更好。但在某些特定的主题上肯定还有改进的空间。这表明了执行更细粒度的比对以实现更好的可信度覆盖的重要性和好处。
在本文中，我们对大型语言模型（LLM）在对齐方面的可信度的关键方面进行了全面的调查。我们的工作包括开发一个详细的分类法，该分类法解决了与实现这些维度的一致性相关的挑战。此外，我们还回顾了现有文献，以确定已提出的潜在解决方案。我们提出的分类法构成了进行详细测量研究的基础，重点是精心选择的一组维度。这些研究使我们能够构建一个数据集，促进LLM比对指标的自动化评估。
我们的研究结果表明，一般来说，根据公开声称的关于其对齐工作的信息，显示出较高对齐度的LLM往往表现得更好。然而，我们也注意到还有改进的余地，特别是在具体专题方面。这一发现强调了执行更细粒度的比对以获得更好的可信度覆盖率的重要性和优势。总的来说，我们的研究为理解和评估LLM可信度提供了宝贵的见解，突出了持续研究和努力在不同维度上实现稳健一致的重要性。通过应对这些挑战，我们旨在提高在实际应用中部署LLM的总体可靠性和道德意义。
局限性 。必须承认，我们的分类法并没有涵盖LLM可信度的整个范围。我们鼓励社区参与迭代工作，以开发一个更细粒度和更全面的框架，更好地解决LLM可信度的评估问题。
关于我们的测量研究，重要的是要认识到它们并非没有缺陷。为了在没有大量人工标记的情况下实现评估过程的自动化，我们进行了两个主要的简化。首先，我们将某些评估问题转换为多项选择题格式，实现结构化和可编程验证的答案。这消除了人工评审人员解释非结构化自然语言输出的需要。其次，我们依靠更高级的LLM来评估测试LLM提供的答案，假设高级LLM提供了基本的真实性判断。虽然这种方法更快、更具成本效益，但一种更慢、更准确的替代方法需要人工评审。[471]中给出了最近并行工作的一个示例，该示例提供了GPT模型的各种信任度量的详细评估报告。我们相信这一领域对未来的研究和进步具有重大的前景。
悬而未决的问题。尽管OpenAI与LLM的对齐工作取得了显著成功，但“对齐科学”领域仍处于早期阶段，存在大量缺乏理论见解和实践指导的开放问题。几个关键问题仍未得到解答。例如，RLHF（从人类反馈中强化学习）是对齐LLM的最佳方法吗？或者可以设计替代方法来更有效地实现对齐吗？我们如何建立构建对齐数据的最佳实践？此外，标记员的个人观点如何影响LLM比对结果？对齐数据的依赖程度如何？此外，必须确定哪些LLM挑战可以通过对齐有效解决，哪些挑战可能对对齐解决方案更具抵抗力。
总之，社区迫切需要更具原则性的方法来评估和实施LLM调整，确保这些模式符合我们的社会价值观和道德考虑。随着该领域的发展，解决这些悬而未决的问题对于建立越来越值得信赖和负责任的LLM至关重要。