论文阅读:A Survey on Bias and Fairness in Machine Learning(ACM)

按中李沐的读论文方法只看摘要、结论和介绍，有兴趣的再看模型和实验。

摘要

随着人工智能系统和应用在我们日常生活中的广泛使用，在设计这些类型的系统时，考虑公平问题是很重要的。这种系统可能用于许多敏感的环境中，以作出重要的和改变生活的决定。因此，确保这些决定不反映对某些群体或人群的歧视行为是至关重要的。我们最近看到了机器学习、自然语言处理和深度学习的工作，它们在不同的子领域解决了很多问题。随着这些系统的商业化，研究人员逐渐意识到这些应用程序可能包含的偏见，并试图解决它们。在这篇综述中，我们调查了不同的应用程序，这些应用程序以不同的方式体现了偏见，我们列出了可能影响AI应用程序的不同偏见来源。然后，我们为机器学习的公平定义创建了一个分类。此外，我们研究了人工智能的不同领域和子领域，展示了研究人员在最先进的方法中观察到的不公平问题，以及他们如何试图解决这些问题。为了缓解人工智能系统中的偏见问题，未来仍有许多方向和解决方案可以采取。我们希望这项调查将激励研究人员在不久的将来通过观察各自领域的现有工作来解决这些问题。

CONCLUSION

在这篇综述中，我们介绍了人工智能系统可能产生负面影响的偏见和不公平问题。主要从两个方面来看这个问题:数据和算法。我们阐述了其中的一些问题，并说明了为什么公平是一个重要的问题，同时提供了不公平可能对社会造成的潜在的现实危害的例子——例如司法系统中的应用、人脸识别和推广算法。然后我们回顾了研究人员提出的公平和偏见的定义。为了进一步激发读者的兴趣，我们提供了一些不同领域解决可能影响人工智能系统的偏见的工作，以及人工智能的不同方法和领域，如通用机器学习、深度学习和自然语言处理。然后，我们进一步做了细粒度的分析，以及处理每个子任务中的公平性约束工作。希望能拓展读者的视野，在研究一个系统或方法时进行深入思考，以确保其对特定群体造成潜在伤害或偏见的可能性较低。随着人工智能应用在我们世界的扩展，研究人员认真对待这个问题，并扩大他们在该领域的知识是很重要的。在这篇综述中，我们对迄今为止所做的工作进行了分类，以解决不同领域中关于公平问题的不同问题。我们还可以采取其他可能的未来工作和方向，以解决我们在前面讨论过的人工智能中存在的问题和偏见。

INTRODUCTION

机器算法已经渗透到我们日常生活的方方面面。算法可以推荐电影、建议购买产品，并且越来越多地用于贷款申请、约会和雇佣等高风险决策中[93]。与人类不同，机器不会感到疲倦或无聊[40,98]，而且可以比人类考虑更多数量级的因素。然而，和人类一样，算法也容易受到偏见的影响，这使得它们的决定“不公平”[5100]。在决策背景下，公平是对个人或群体没有任何偏见或偏袒，基于他们固有或后天的特征。因此，不公平的算法是其决策偏向于某一特定群体的算法。一个典型的例子来自于美国法院用来做出假释决定的一个工具。这个名为“惩教罪犯管理替代性制裁分析”(COMPAS)的软件可以衡量一个人再次犯罪的风险。法官使用COMPAS来决定是否释放罪犯，或将其关押在监狱中。一项针对该软件的调查发现了对非裔美国人的偏见，COMPAS更有可能给非裔美国人的犯罪打分，而不是给具有相同特征的白人。类似的结果在其他领域也出现了，比如评判选美冠军但却对深色皮肤选手有偏见的人工智能系统，或数码相机中的面部识别软件对亚洲人眨眼的预测过高。这些有偏见的预测源于数据或算法中隐藏或忽略的偏见。

在这篇综述中，我们发现了机器学习结果中两个潜在的不公平来源——来自于数据的偏差和来自于算法。我们回顾了关于数据偏差如何影响机器学习算法学习结果的研究，以及算法本身工作方式的细微差别如何阻碍它们做出公平的决定——即使数据是无偏差的。

我们首先从几个非常明显的现实世界案例开始回顾，在这些案例中，不公平的机器学习算法导致了次优和歧视性的结果。然后，我们描述了发生在数据中的许多类型的偏见，并提出了耦合方法。综上，我们关注了不同的机器学习方法，以及如何在每一种方法中发现不公平，以及当前处理它们的最先进的技术，然后是未来在每个领域的潜在研究方向。