DW 第三章：大模型的有害性-上

参考链接：

一、引言

在这次内容中，将开始探讨⼤型语⾔模型的有害性（危害）。
本节主要讲:
性能差异、社会偏⻅和刻板印象。

新兴技术的危害：我们知道“能⼒越⼤责任越⼤，对于当前开创性的⼤模型来说，我们需要了解这些模型的能⼒和危害之间的密切关系。⼤模型的能⼒所展示的潜⼒将导致这些模型被⼴泛的采⽤，但是与此同时造成它们的危害。

性能差异相关的危害：⼤型语⾔模型可以适应执⾏特定任务，对于特定任务（例如问答），性能差异意味着模型在某些群体中表现更好，在其他群体中表现更差。例如，⾃动语⾳识别（ASR）系统在⿊⼈说话者的识别性能要差于⽩⼈说话者（Koenecke等⼈，2020）。反馈循环（⼤模型随着数据的积累将持续训练的⼀种循环）可以随着时间的推移放⼤差异：如果系统对某些⽤户⽆法正常⼯作，他们就不会使⽤这些系统，并且会⽣成更少的数据，从⽽导致未来的系统表现出更⼤的差异。
社会偏见和刻板印象相关的危害：社会偏⻅是将某个概念（例如科学）与某些群体（例如男性）相对其他群体（例如⼥性）进⾏系统关联。刻板印象是⼀种特定且普遍存在的社会偏⻅形式，其中的关联是被⼴泛持有、过度简化并且⼀般固定的。对于⼈类来说，这些关联来⾃于获得快速的认知启发。它们对于语⾔技术尤为重要，因为刻板印象是通过语⾔构建、获取和传播的。社会偏⻅可能导致性能差异，如果⼤型语⾔模型⽆法理解表明反刻板印象关联的数据，则它们在这些数据上的表现可能会较差。

二、社会群体

在美国，受保护的属性是指那些不可作为决策基础的⼈⼝特征，如种族、性别、性取向、宗教、年龄、国籍、残障状况、体貌、社会经济状况等。许多此类属性常引发争议，如种族和性别。
尽管受保护的群体并不是唯⼀需要关注的群体，但它们却是⼀个很好的出发点：相关的群体因⽂化和背景⽽异。此外，我们需要特别关注历史上边缘化的群体。

三、量化性能差异/社会偏见在LLMs中的危害

名字偏见

这⾥我们⾸先将⼤模型在SQuAD数据进⾏训练，然后设计⼀个新的任务进⾏测试。

• 动机：测试模型在涉及⼈名的⽂本中的理解和⾏为⽅式。
• 原始任务：SQuAD - Stanford Question Answering Datasets（Rajpurkar等，2016年）
• 修改后的任务：使⽤SQuAD数据构建额外的测试例⼦，将之前的测试答案中的两个名字进⾏交换。最终测试模型的回答正确性。
• 指标：翻转表示交换名称会改变模型输出的名称对的百分⽐。
• 结果：
  1、模型通常会预测与他们所知名⼈物相关的名称，符合他们所擅⻓的领域。
  2、对于不太知名的⼈，效果会很快减弱。
  3、当交换名称时，模型通常不会改变它们的预测结果。

刻板印象

• 动机：评估模型在涉及刻板印象的⽂本中的⾏为⽅式
• 任务：⽐较模型对具有刻板印象和反刻板印象关联的句⼦的概率
• 指标：刻板印象得分是模型偏好刻板印象示例的⽐例。作者表示，得分为0.5是理想的。
• 结果：
  1、所有模型都显示出对刻板印象数据的系统偏好。
  2、较⼤的模型往往具有较⾼的刻板印象得分。

四、测量与决策

公平性指标众多，能够将性能差异转化为单⼀测量结果。然⽽，许多这样的公平性指标⽆法同时被最⼩化，并且⽆法满⾜利益相关者对算法的期望。

衡量偏⻅的许多设计决策可能会显著改变结果，例如词汇表、解码参数等。现有的针对⼤型语⾔模型（LLMs）的基准测试已受到了到了严重的批评。许多上游偏⻅的测量并不能可靠地预测下游的性能差异和实质性的伤害。

五、其他考虑因素

LLMs有可能通过多种⽅式造成伤害，包括性能差异和社会偏⻅。理解这些伤害对社会造成的影响，需要考虑涉及的社会群体及其状况，例如历史上的边缘化、权⼒的缺乏。虽然在具体的下游应⽤环境中，伤害通常更容易理解，但LLMs却是上游的基础模型。

六、决策问题

现有的⽅法往往⽆法有效地减少或解决这些伤害；在实践中，许多技术缓解措施效果不佳。涵盖更⼴泛⽣态系统的社会技术⽅法，可能是显著缓解这些伤害的必要措施，这个⽣态系统是LLMs的情境环境。

七、总结

随着技术的更新迭代，大模型的应用越来越广，面对一些危害性，提前做好心理准备和应对措施，可以很大程度上降低这些伤害。大模型上的数据越来越完善，预测的结果也会越来越准确。