计算机视觉公平性论文集合(2019-2021)

  最近计算机视觉公平性方面出了不少新的研究成果，相比于传统的AI公平性，在呈现形式上更有意思，有不少研究中提供了亮眼的结果。搜索了一波CVPR/ICCV/ECCV/ICLR/ICML/NeurIPS/AAAI…论文list，如有遗漏，欢迎补充↓↓↓↓

before 2020

论文列表

1. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, FAT, 2018. 测试发现了商业的性别分类系统存在种族偏见。
2. Women Also Snowboard: Overcoming Bias in Captioning Models, ECCV, 2018. caption模型倾向于放大训练数据中原本就存在的偏差（例如，如果一个单词出现在60%的训练句子中，那么在测试时可能在70%的句子中预测到）。本文引入了一种新的均衡模型，当性别因素被遮挡时，该模型输出不同性别概率相等，而场景中存在性别因素时，让模型进行自信的预测。由此产生的模型被迫观察人物信息，而不是使用场景信息做出特定的性别预测。
3. Balanced datasets are not enough: Estimating and mitigating gender bias in deep image representation, ICCV, 2019. 验证了提升公平性光有均衡的训练数据集是不够的，该文提出了一种衡量模型放大训练集偏差的指标，以及一种基于在数据域表示去除性别敏感信息的方法，在获得图像经过掩码之后表示的同时，用模型进行公平分类，表示仅仅用来解释。
4. Discovering fair representations in the data domain, CVPR, 2019. 提出了一种公平性的预处理方法，获得数据在数据域公平的表示，再用公平表示的数据训练下游分类器。例如，在颜值识别认为中，经过转换后，男性被涂上了口红，转换为数据域中立的表示，并不是将男性变成女性，或者把女性变成男性。
5. Racial Faces in the Wild: Reducing Racial Bias by Information Maximization Adaptation Network, ICCV, 2019. 提出了一种领域自适应的方式来缓解不同种族的人脸识别准确率差异较大的问题。
6. Fair Loss: Margin-Aware Reinforcement Learning for Deep Face Recognition, ICCV,2019. 当时的instance loss没有考虑类别不均衡的问题，所有类别的采用固定的margin。文章提出了fair loss，感知margin的强化学习算法，提升训练的人脸识别系统的公平性。

2020

论文列表

群组公平性

1. FairALM Augmented Lagrangian Method for Training Fair Models with Little Regret, ECCV, 2020. 提出了一种基于约束的增加公平性的方法（类似Zifar17），相比于对抗训练、正则项等（不能说清楚为什么能提升公平性），这种方法在数学上更可解释。

2. Fairness by Learning Orthogonal Disentangled Representations, ECCV, 2020. 属于预处理，把很多方法都添加了进来，核心是采用让表征正交、熵最大的方法学习到公平的表征，再用该标准来训练下游分类器。让目标任务$T$和敏感属性$S$的信息正交，预先设计正交的高斯分布，训练过程中让encoder分别去拟合这两个分布。

3. Jointly De-biasing Face Recognition and Demographic Attribute Estimation, ECCV, 2020. 这个也可以处理多敏感属性，构建结构网络，把feature解耦为4个部分（性别，年龄，种族，身份，虚线表示对抗损失），然后分别训练下游任务，或者把feature重组成DemoID再用于下游身份识别任务。在身份识别和敏感属性识别任务上达到SOTA。

4. Mitigating Bias in Face Recognition Using Skewness-Aware Reinforcement Learning, CVPR, 2020. 收集并标注了两个平衡的人脸数据集，提出了一个强化学习方法，缓解人脸识别网络的偏见，学习到肤色群体上更加均衡的特征。

5. Null-Sampling for Interpretable and Fair Representations, ECCV, 2020. 提出了两种可以获取数据在数据域公平的表示的方法cFlow和cVAE，用这些方法训练好的encoder和decoder来处理训练集，获得中立的数据域表示的数据(效果上与上面提到的CVPR2019相同)，再用处理后的训练集来训练下游模型，以提升公平性，$s$表示敏感属性，$z_b$表示与敏感属性相关的feature，$z_u$表示与敏感属性无关的feature，$x_u$表示中立的数据域表示。

6. Towards Accuracy-Fairness Paradox：Adversarial Example-based Data Augmentation for Visual Debiasing, MM, 2020. 提出用对抗样本来做数据增强，使得训练集中不同敏感属性的样本比较均衡。例如训练集中女性多，男性少，对女性的图片进行对抗攻击，合成男性的。

7. Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation, CVPR, 2020. 提出了领域独立训练的方法来提升公平性，每个末端的classifier负责一种敏感属性值的数据的分类（一个head对应一个domain的数据），效果比对抗训练好。
   

新的场景

1. Fair Generative Modeling via Weak Supervision, ICML, 2020. 训练GAN来合成图片时，往往训练集中所有数据的权重是相同的，如果数据集存在偏差，训练出来的模型也就会存在偏见。例如，随机采样合成的图片，女性占比远远高于男性。因此，文中提出了一种弱监督条件下，对reweight权重的方式来缓解这种偏见。

2. Intra-Processing Methods for Debiasing Neural Networks, NeurIPS, 2020. 提出了介于in-process和post-process的intra-process的场景（一般应用上不会重新训练一个模型，而是迁移学习的方式，fine-tune适配模型，in-process的在这阶段需要修改超参数，比如更小的学习率），提出了三种intra-process方案，并修改了已有的对抗训练方案的超参数来适配intra-processing，在这个阶段提升获得的模型的公平性。

3. REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets, ECCV, 2020. 提出了一种自动检测视觉数据集偏差的工具。

4. Towards causal benchmarking of bias in face analysis algorithms, ECCV, 2020. 提出了一种反事实的分析方法，生成多种敏感属性不同的样本，来测试系统的公平性。相比于直接用收集的测试集来测试，收集的测试集里面可能含有混杂因子，对敏感属性和预测结果的分析产生影响，得到的结论和反事实分析可能不一样。(缺陷是他们合成的时候本来就没有考虑不同敏感属性之间的混杂影响，可能并没有跳出收集的数据集存在的那些问题。)

5. Maintaining Discrimination and Fairness in Class Incremental Learning, CVPR, 2020. 通过知识蒸馏和权重对齐，解决增加分类类别的学习中的灾难性遗忘和公平性问题。

6. Deep Fair Clustering for Visual Learning, CVPR, 2020. 通过对抗训练获取公平性表征，解决聚类中的公平性问题。

2021

论文列表

1. Consistent Instance False Positive Improves Fairness in Face Recognition, CVPR, 2021. 现有方法的不足，需要预先指定敏感属性，还需要敏感属性的标注，但是真实情境下这种标注可能是不存在的。论文考虑基于实例误报一致性的方法，这样就不要人口统计学标注信息，一样能够实现人脸识别的公平性。“具体来说，我们首先将实例FPR定义为高于统一阈值的非目标相似度数量与非目标相似度总数之间的比率。通过给定总FPR，可以估计出统一阈值，然后将实例FPR与总FPR的比例惩罚项引入基于softmax的损失函数分母中。实例FPR越大，惩罚越大。利用这种不平等性的惩罚，使得实例FPR具有一致性。该方法不需要人群标签，并可减轻群体之间因各种属性划分的偏差，而这些属性在训练中无需预先定义，在主流实验基准上的广泛测试结果表明，此方法已达到了SOTA。”

2. Fair Attribute Classification through Latent Space De-biasing, CVPR, 2021. 公平性来源于训练数据集不均衡，文章提出在公平均衡的数据上进行训练，用GAN合成这种数据，合成过程是生成成对的数据。例如预测任务是预测一个人是否戴帽子，敏感属性是是否戴眼镜。假如收集的数据含有偏差，戴帽子的人恰好都戴了眼镜，没有帽子的人也没有戴眼镜。文中设计的GAN合成公平的数据时，合成了一个戴眼镜戴帽子的人的同时，合成一张这个人去掉眼镜的图片。

3. Fair Mixup：Fairness via Interpolation, ICLR, 2021. 预处理，数据增强方法。

4. Fairness via Representation Neutralization, NeurIPS, 2021. CNN模型一般分为特征提取器和分类器两个部分，提升CNN的公平性的工作一般是讨论如何让特征提取过程提取到公平的表征。本文提出了一种调节分类器的方式，而不是以往的特征提取器的方式，来缓解模型偏见。

5. Learning Disentangled Representation for Fair Facial Attribute Classification via Fairness-aware Information Alignment, AAAI, 2021. 提出了一种新的解耦表征方法，训练好一个encoder，用于提取出公平的分类表征，然后下游分类器在该表征上进行学习预测。与以往工作的区别是，该文特别地考虑了目标任务和敏感属性有交集的这部分表征。

6. Mitigating Face Recognition Bias via Group Adaptive Classifier, CVPR, 2021. 使用group adaptive layer来缓解人脸识别在不同人群的偏见，该层为不同人群选用不同的人脸识别相关的feature来进行人脸识别。

7. Mitigating Demographic Bias in Facial Datasets with Style-Based Multi-attribute Transfer, IJCV, 2021. 数据增强训练集，合成多个不同敏感属性类别的图像，用均衡的数据集训练下游分类器，提升公平性。

8. Meta Balanced Network for Fair Face Recognition, TPAMI, 2021. 提出了一个benchmark，并提供了两个种族均衡的人脸数据集，并设计了一个meta learn的算法以缓解人脸识别不同种族准确率的差异。

1. Discover the Unknown Biased Attribute of an Image Classifier, ICCV, 2021. 设计方案在GAN的隐空间中寻找到的敏感属性超平面，借此来合成出不同敏感属性值的图片，自动地检查图片分类器可能存在的偏见。

2. Fair Selective Classification Via Sufficiency, ICML, 2021. 选择性分类通过拒绝/丢掉低于置信度阈值的样本来提升分类准确率，以此来降低错误分类的风险（例如，降低遭遇对抗样本攻击的风险）。然而，最近的工作表明，在某些情况下，选择性分类导致放大组之间的差异。文章证明了充分性标准可以通过确保选择性分类提高所有组的性能来缓解这些差异。

3. PASS: Protected Attribute Suppression System for Mitigating Bias in Face Recognition, ICCV, 2021. 通过已有的人脸descriptor来训练文中的PASS模块，减少人脸识别存储的descriptor里面蕴含的公平性相关属性信息，提供给下游任务。

4. Understanding and Evaluating Racial Biases in Image Captioning, ICCV, 2021. 对COCO数据集给出了gender和skin的人工标记，并借此检查COCO数据集本身和现有的caption系统存在的性别和种族偏见。

5. An Examination of Fairness of AI Models for Deepfake Detection, IJCAI, 2021. 广泛使用的FaceForensics++数据集绝大多数由白种人组成，其中大多数是女性白种人。文章使用按种族和性别平衡的面部数据集，检查了三种流行的深度造假检测器，发现不同种族人群中的预测性能有很大差异，子群体之间的错误率差异高达10.7%。

6. Directional Bias Amplification, ICML, 2021. 差异放大：模型在学习过程中放大数据中偏差的倾向。文章提出了一种新的衡量差异放大的指标。

7. Fairness for Image Generation with Uncertain Sensitive Attribute, ICML, 2021. 提出了一种公平的图像超分辨率方法，之前的超分辨率方法出现过例如“白色的奥巴马”，或者训练集中戴眼镜的人很少，恢复时模型变成了黑眼圈，狗的数据少导致狗狗变成了猫脸…

8. Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning, FAT, 2021. 提出模型在面对对抗样本攻击时robust bias的存在，并提出了两种衡量模型的robust bias的方法。

9. To be Robust or to be Fair：Towards Fairness in Adversarial Training, ICML, 2021. 防御对抗样本的对抗训练获得的模型，不同类别的数据的自然准确率和鲁棒准确率差异都较大，文中提出了缓解方案。

10. One Label, One Billion Faces: Usage and Consistency of Racial Categories in Computer Vision, FAT, 2021. 文章发现了不同数据集不同种族的标注信息不一致的问题，有的种族标注不同数据集一致性非常好，有的则不是这样。

11. Towards Fair Deep Anomaly Detection, FAT, 2021. 提出了两种异常检测的公平性衡量指标，验证了现有的深度学习异常检测方法不公平（异常样本男女比例失衡），并提出了一种基于对抗训练的公平异常检测方案。

12. Fair Feature Distillation for Visual Recognition, CVPR, 2021. 提出了一种知识蒸馏方案，对于已有的一个不公平的模型，可以蒸馏后获得公平的student模型。

参考

[1] Olga Russakovsky的ppt， Fairness in Visual Recognition