Exploring the Landscape of Machine Unlearning: A Comprehensive Survey and Taxonomy

本文是机器遗忘的系列文章，针对《Exploring the Landscape of Machine Unlearning: A Comprehensive Survey and Taxonomy》的翻译。

摘要

由于需要删除或修改由机器学习（ML）模型做出的预测，机器遗忘（MU）正获得越来越多的关注。虽然训练模型变得更加高效和准确，但在隐私、安全和公平等领域，忘记先前学习的信息的重要性变得越来越重要。本文对MU进行了全面的综述，涵盖了当前最先进的技术和方法，包括数据删除、扰动和模型更新。此外，还介绍了常用的度量和数据集。该论文还强调了需要解决的挑战，包括攻击复杂性、标准化、可转移性、可解释性、训练数据和资源限制。本文的贡献包括对MU的潜在利益及其未来方向的讨论。此外，该论文强调，研究人员和从业者需要继续探索和完善遗忘技术，以确保ML模型能够适应不断变化的环境，同时保持用户信任。在使人工智能（AI）更加可信和透明方面，尤其是随着人工智能在涉及大量个人用户数据的各个领域中的重要性日益增加，遗忘的重要性进一步凸显。

1 引言

2 机器遗忘的概要

3 技术与方法

A 数据删除

数据投毒

数据子采样

数据混洗

B 数据扰动

数据匿名化

差分隐私

反向数据生成（IDG）

C 模型更新技术

正则化

迁移学习

模型修剪

蒸馏

模型反演

4 用于评估的数据集与度量

5 挑战与潜在的解决方案

A 攻击复杂性

B 缺乏标准化

C 缺乏迁移性

D 缺乏解释性

E 缺乏训练数据

F 资源约束

6 未来方向

A NLP中的机器遗忘

B 计算机视觉中的机器遗忘

C 推荐系统中的机器遗忘

7 结论

MU是一个相对较新且快速发展的领域，近年来受到了越来越多的关注。虽然训练ML模型来识别模式和进行预测的过程变得越来越高效和准确，但删除或修改这些预测的必要性也变得同样重要。顾名思义，Unlearning是指从模型中删除先前学习的信息的过程，它在隐私、安全和公平等领域有着重要的应用。正如我们的文献调查所表明的那样，有多种方法和技术正在开发中，从正则化方法到模型反演技术。然而，在这一领域仍有一些挑战需要解决，例如对更大数据集的可扩展性、忘记特定数据子集的能力，以及忘记对模型性能的影响。然而，尽管存在这些挑战，MU的好处是巨大的，随着研究人员开发出更有效的方法来从ML模型中去除数据，我们预计在未来几年该领域将继续取得进展。研究人员和从业者必须继续探索和完善遗忘技术，以确保ML模型能够适应不断变化的环境并保持用户的信任。随着人工智能在各个领域的重要性不断增加，遗忘将在使人工智能更加可信和透明方面发挥至关重要的作用。