Bias and Fairness in Large Language Models: A Survey

本文是LLM系列文章，针对《Bias and Fairness in Large Language Models: A Survey》的翻译。

摘要

大型语言模型(llm)的快速发展使得处理、理解和生成类人文本成为可能，并越来越多地集成到触及我们社会领域的系统中。尽管取得了成功，但这些模式可以学习、延续和放大有害的社会偏见。在本文中，我们提出了对LLM偏见评估和缓解技术的全面调查。我们首先巩固、形式化并扩展了自然语言处理中的社会偏见和公平的概念，定义了伤害的不同方面，并引入了几个必要的条件来实现LLM的公平。然后，我们通过提出三种直观的分类来统一文献，其中两种用于偏见评估，即指标和数据集，另一种用于缓解。我们的第一个偏差评估指标分类法消除了指标和评估数据集之间的关系，并根据它们在模型中运行的不同层次(嵌入、概率和生成文本)组织了指标。我们用于偏见评估的第二种数据集分类法根据数据集的结构将其分类为反事实输入或提示，并确定目标危害和社会群体;我们还发布了公共可用数据集的整合，以改进访问。我们的第三种减轻偏见的技术分类法通过在预处理、训练中、处理内和后处理期间的干预对方法进行分类，并通过细化的子类别阐明了研究趋势。最后，我们确定了未来工作中存在的问题和挑战。综合广泛的近期研究，我们的目标是为现有文献提供一个明确的指导，使研究人员和从业者能够更好地理解和防止LLM中偏见的传播。

1 引言

2 LLM偏见与公平的形式化

3 偏见评价指标的分类

4 偏见评价数据集的分类

5 缓解偏见的技术分类

6 开放问题和挑战

7 结论

我们对LLM偏见评估和缓解技术的文献进行了全面调查，汇集了广泛的研究来描述当前的研究前景。我们阐述了自然语言处理中的社会偏见和公平的概念，定义了语言中独特的伤害形式，并提出了一套LLM所需的初始公平标准。然后，我们开发了三种直观的分类法:偏差评估的指标和数据集，以及减轻偏差的技术。我们的第一个指标分类描述了评估指标和数据集之间的关系，并根据它们所操作的数据类型来组织指标。我们的第二种数据集分类法描述了用于偏差评估的常见数据结构;我们还整合并发布了公开可用的数据集，以增加可访问性。我们对缓解技术的第三种分类是根据干预阶段对方法进行分类，对每个阶段的趋势进行详细的分类。最后，我们概述了几个可操作的开放性问题和挑战，以指导未来的研究。我们希望这项工作能够提高对测量和减少LLM偏见的技术努力的理解，并促进这些领域的进一步探索。