A Fine-Grained Social Bias Measurement Framework for Open-Domain Dialogue Systems (NLPCC 2022)

A Fine-Grained Social Bias Measurement Framework for Open-Domain Dialogue Systems (NLPCC 2022)

一种面向开放域对话系统的细粒度社会偏见度量框架
论文代码: 未开放
论文地址: https://link.springer.com/chapter/10.1007/978-3-031-17189-5_20

个人阅读笔记，水平有限， 如有错误欢迎指正交流

1.介绍

基于大规模语料库的预训练模型可以有效地提高开放域对话系统在性能方面的性能。然而，最近的研究表明，在预先训练的模型中存在各种道德问题，严重影响了对话系统的应用。在这些伦理问题中，社会偏见特别复杂，因为它对边缘化群体的负面影响往往是隐性的，因此需要规范推理和严格分析。在本文中，我们报告了团队BERT 4 EVER为NLPCC 2022共享任务7 -细粒度对话社会偏见测量提供的解决方案，该任务旨在测量对话场景中的社会偏见。具体而言，我们研究了开放域对话系统中的细粒度社会偏见测量，构建了一个基于提示学习和对比学习的细粒度对话社会偏见测量框架。我们提出了一个两阶段的提示学习方法来识别文本是否涉及公平主题，然后识别文本涉及公平主题的偏见。为了使模型能够更好地学习完整的标签（即，在第一阶段提示学习中，我们采用对比学习模块来进一步将相同标记样本的文本表示正则化到统一的语义空间。在NLPCC 2022任务最终测试中，我们的建议框架以59. 02%的Fmacro获得第二名。

1.1 科学问题

基于大规模语料库的预训练模型可以有效地提高开放域对话系统在的性能。然而，最近的研究表明，在预先训练的模型中存在各种道德问题，严重影响了对话系统的应用。在这些伦理问题中，社会偏见特别复杂，因为它对边缘化群体的负面影响往往是隐性的，因此需要规范推理和严格分析。

1.2 研究目标

在本文中，我们报告了团队BERT 4 EVER为NLPCC 2022共享任务7 -细粒度对话社会偏见度量提供的解决方案，该任务旨在度量对话场景中的社会偏见。

1.3 方法

本文构建了一个基于提示学习和对比学习的细粒度对话社会偏见测量框架。
我们提出了一个两阶段的提示学习方法来识别文本是否涉及公平主题，然后识别文本涉及公平主题的偏见。(先判断是否设计， 然后判断是否存在偏见)
为了使模型能够更好地学习完整的标签（即，在第一阶段提示学习中，我们采用对比学习模块来进一步将相同标记样本的文本表示正则化到统一的语义空间。

1.4 创新点/贡献

我们的贡献可概括如下：

1. 据我们所知，我们是第一个提出应用提示学习和对比学习的细粒度对话社会偏见任务的人。
2. 我们提出了一个两阶段的即时学习方法来解决这个任务中模板构建的问题。
3. 基于对比学习和提示学习，我们构建了一个细粒度的对话社会偏见测量框架。
4. 拟议框架在2022年NLPCCTask-7中获得第二名，Fmacro为59.02%

2.任务案例(无)

3. 模型架构

图1. 我们的框架概述。第一个[MASK]确定是否有偏差，第二个[MASK]确定偏差的类别。 该框架由三个模块组成：普通表示模块、两阶段提示学习模块和对比学习模块。

4. 方法

首先，我们使用通用表示模块表示对话文本，然后使用两阶段提示学习模块识别文本是否涉及公平话题，然后识别文本涉及公平话题的偏见类别。当第一阶段被识别为涉及对话中的公平性时，考虑第二阶段的输出。此外，对比学习用于在第一阶段中更接近具有相同标签的样本之间的概率表示。

4.1 通用表示模块

通用表示模块使用BERT [26]提取对话的语义表示。每个序列的第一个令牌是特殊分类令牌[CLS]。
$$C_i=BERT(x_i,y_i,z_i)$$
其中$C_i$是句子表示，$x_i$、$y_i$、$z_i$分别表示token表示，分词和位置嵌入编码。

4.2 两阶段提示学习模块

本文提出了一个两阶段的提示学习，首先确定是否涉及公平主题的文本，然后确定的文本是涉及公平主题的偏见。给定序列嵌入$C_w=\{C_1，C_2，...，C_n\}$，其中$C_w\in R^{n\times e}$，e是嵌入维数大小的维数。两阶段提示学习模块的参数表示为$C_p\in R^{p\times e}$，其中$p$为提示模板的长度。
提示学习的第一阶段为$P_{\theta }(Y_1|W)$，给定样本的第一阶段概率记为$Q_1，Y_1=\{0，1\}$，其中Y1=0表示对话不涉及主题，$Y_1=1$表示对话涉及公平性。
提示学习的第二阶段是$P_{\theta }(Y_2|W)$，给定样本的第二阶段概率记为$Q_2，Y_2=\{0，1，2\}$，其中Y2=0表示对话是反偏的，Y2=1表示对话的公平性位置是中性的，Y2=2表示对话是偏的。
通过对两个阶段的即时学习损失加权得到最终的即时学习损失：
$$L_p=\alpha \ast L_{p1}+(1-\alpha )\ast L_{p2}$$
其中α是可调参数，α ∈{0，1}。

4.3 对比学习模块

在提示学习的第一阶段，模型容易忽略第二阶段的三个标签对提示任务第一阶段的影响。因此，为了使模型能够更好地学习完整的标签信息，我们使用监督对比学习来更接近具有相同标签的样本之间的概率表示$Q1$。鼓励编码器为来自相同类别的所有样本提供紧密对齐的概率表示。在两阶段的提示学习之后添加对比学习，以使第一阶段中完全标记系统下的正性样本之间的第一阶段概率表示尽可能接近，同时远离负样本。本文将一批中的所有句子表示为$\{x_i，y_i{\}}_{i\in I}$，其中$I=\{1，\cdot \cdot ，K\}$是句子的索引，$K$是该批中包含的样本数，$y_i\in \{0，1，2，3\}$。第i个样本的第一阶段概率被表示为Q1，并且在批次内具有其相同标签的句子$x_i$的样本集合被定义为$S=\{s：s\in I，yp=yi\wedge p=i\}$，|S型|则批次的对比损失函数为：
$$L_{P_i}=-\frac{1}{|S|}\sum _{s\in S}\log \frac{\exp (\frac{sim({\mathbf{Q}}_1({\mathbf{C}}_{\mathbf{i}}),{\mathbf{Q}}_1({\mathbf{C}}_{\mathbf{s}})}{\tau })}{{\sum }_{k\in I\backslash \{i\}}\exp (\frac{sim({\mathbf{Q}}_1({\mathbf{C}}_{\mathbf{i}}),{\mathbf{Q}}_1({\mathbf{C}}_{\mathbf{k}})}{\tau })}$$
$$L^{sup}=\sum _{i=1}^N{L}_{P_i}$$
$$L=\beta \ast L^{sup}+(1-\beta )\ast L^{sup}$$
其中$\tau$是用于优化对比学习模块的参数。下标是对应于锚样本的$i$，下标是对应于正性样本的$s$。$L$是整体框架的损失，$L^{sup}$是对比学习损失，$L_p$是提示学习损失。β是超参数。

5. 实验结果

5.1 数据集

CDIAL-BIAS数据集是从中国问答网站知乎抓取的，并使用与社会偏见相关的会话数据构建的。每个数据输入都是由一对问题和答案组成的两轮对话。如表1所示，这是一个中文会话偏见数据集，包含28 k个会话数据。CDIALBIAS数据集包含四个子集，即：种族、性别、地理和职业。每个样品用不相关、反偏置、中性和偏置中的一种标记来标记。

5.2 对比实验结果

表1. 不同预训练模型的结果。

5.3 消融实验结果

表2. 各种方法的比较结果。