【硬核书】机器学习对抗鲁棒性

来源：专知
本文为书籍介绍，建议阅读5分钟本书介绍了对抗性攻击、防御和验证的常用算法。

机器学习的对抗性鲁棒性综述了该课题的最新进展，介绍了对抗性攻击、防御和验证的常用算法。章节涵盖了对抗性攻击、验证和防御，主要关注图像分类应用，这是对抗性鲁棒性社区考虑的标准基准。其他部分讨论了图像分类以外的对抗例子，测试时间攻击以外的其他威胁模型，以及对抗鲁棒性的应用。对于研究人员，本书提供了一个全面的文献综述，总结了该领域的最新进展，可以作为一个很好的参考，进行未来的研究。此外，本书还可以作为研究生课程的教材，讲授对抗鲁棒性或可信赖机器学习。虽然机器学习(ML)算法在许多应用中取得了显著的性能，但最近的研究表明，它们对对抗性扰动缺乏鲁棒性。鲁棒性的缺乏给实际应用(如自动驾驶汽车、机器人控制和医疗保健系统)的ML模型带来了安全问题。

https://www.elsevier.com/books/adversarial-robustness-for-machine-learning/chen/978-0-12-824020-5

随着机器学习理论和算法的最新进展，高容量和可扩展模型的设计，如神经网络、丰富的数据集和充足的计算资源，机器学习(ML)，或更广泛地说，人工智能(AI)，已经以前所未有的速度改变了我们的行业和社会。当我们期待着机器学习技术带来的积极影响时，我们往往会忽视潜在的负面影响，这可能会带来相当大的道德担忧，甚至由于法律法规和灾难性的失败而带来挫折，特别是对于关键任务和高风险的决策任务。因此，除了准确性，值得信赖的机器学习是基于机器学习的技术实现和发展的最后一个里程碑。值得信赖的机器学习包含了一系列基本主题，如对抗鲁棒性、公平性、可解释性、问责性和伦理。

这本书的重点是实现对机器学习算法、模型和系统的评估、改进和利用对抗鲁棒性的努力，以实现更好、更值得信任的版本。利用不受信任的机器学习作为漏洞，为有意的一方创造无人看管的入口，操纵机器预测，同时避开人类的注意，以获得自己的利益。无论一个人在ML中的角色是什么，作为模型开发人员、利益相关者还是用户，我们相信每个人都必须了解机器学习的对抗鲁棒性，就像在开车前了解自己车辆的性能和限制一样。对于模型开发人员，我们提倡对您自己的模型和系统进行主动的内部鲁棒性测试，以进行错误检查和降低风险。对于利益相关者，我们主张承认产品和服务可能存在的弱点，并以前瞻性的方式进行诚实和彻底的风险和威胁评估，以防止收入/声誉损失和对社会和环境的灾难性破坏。对于使用机器学习副产品的用户，我们主张积极了解其安全使用的局限性，并了解可能的误用。这些与对抗鲁棒性相关的方面，以及可用的技术和工具，在本书中进行了阐述。

一般来说，对抗鲁棒性集中在机器学习中最坏情况性能的研究，而标准机器学习实践则关注平均性能，例如对测试数据集的预测精度。最坏情况分析的概念是由确保机器学习对训练环境和部署场景的变化进行鲁棒和准确预测的必要性激发的。具体来说，这种变化可能是由自然事件(例如，由于不同的光照条件导致的数据漂移)或恶意尝试(例如，旨在妥协并获得基于机器学习的系统/服务控制权的黑客)引起的。因此，与其问“机器学习在给定数据集/任务上的表现如何?”，在对抗性鲁棒性中，我们问“如果数据集或模型可以经历不同的可量化水平的变化，机器学习的鲁棒性和准确性如何?”这种干预过程通常涉及在机器学习中引入虚拟对手以进行鲁棒性评估和改进，这是对抗性机器学习的关键因素。

本书旨在提供对抗性鲁棒性的整体概述，涵盖机器学习的生命周期，从数据收集，模型开发，到系统集成和部署。内容为机器学习的对抗鲁棒性研究提供了一套全面的研究技术和实用工具。本书涵盖了以下四个研究重点在对抗鲁棒性:(i)攻击-寻找机器学习的失败模式;(ii)防御——加强和保护机器学习;核证-制定可证明的稳健性业绩保证;和(iv)应用——基于对抗性鲁棒性研究发明新的用例。

我们将本书各部分的内容总结如下。在第1部分中，我们介绍了本书的初步内容，将对抗性鲁棒性与对抗性机器学习联系起来，并提供了有趣的发现来激励对抗性鲁棒性。在第2部分中，我们介绍了不同类型的对抗攻击，对攻击者在机器学习生命周期、目标机器学习系统知识、数字和物理空间的实现以及数据模态中的能力进行了不同的假设。在第3部分中，我们介绍了量化神经网络可证明鲁棒性水平的认证技术。在第4部分中，我们将介绍用于提高机器学习对对抗性攻击的鲁棒性的防御。最后，在第5部分中，我们介绍了几个从机器学习的对抗鲁棒性研究中获得灵感的新应用。