微软发布新的开放框架，帮助人工智能抵御黑客攻击

Microsoft与MITRE，IBM，NVIDIA和Bosch合作发布了一个新的开放框架，旨在帮助安全分析人员检测，响应和补救针对机器学习（ML）系统的对抗性攻击。

该计划被称为“攻击者ML威胁矩阵”，旨在尝试组织恶意对手在颠覆ML系统中采用的不同技术。

​正如人工智能（AI）和机器学习已部署在各种新颖的应用程序中一样，威胁行动者不仅可以滥用该技术来增强其恶意软件的能力，还可以利用该技术来欺骗带有中毒数据集的机器学习模型，从而产生有益的系统做出错误的决定，并威胁到AI应用程序的稳定性和安全性。

实际上，ESET研究人员去年发现Emotet（一种以电子邮件为基础的臭名昭著的恶意软件，它是由僵尸网络驱动的垃圾邮件活动和勒索软件攻击的背后），正在使用ML来提高其针对性。

然后在本月初，微软警告了一种新的Android勒索软件病毒，其中包括一种机器学习模型，该模型虽然尚未集成到恶意软件中，但可以用于将勒索笔记图像放入移动设备屏幕内而不会产生任何失真。

此外，研究人员还研究了所谓的模型反转攻击，其中滥用了对模型的访问权以推断有关训练数据的信息。

根据微软引用的Gartner报告，到2022年，预计30％的所有AI网络攻击都将利用训练数据中毒，模型盗窃或对抗性样本攻击以机器学习为动力的系统。

微软表示： “尽管有这些令人信服的理由来确保机器学习系统的安全，但微软对28家企业的调查发现，大多数行业从业者尚未对付对抗性机器学习。” “在28家企业中，有25家企业表示他们没有合适的工具来保护机器学习系统。”

对抗性ML威胁矩阵希望通过Microsoft和MITER审核过的一系列漏洞和对手行为来解决针对数据武器化的威胁，Microsoft和MITER对该漏洞和对手行为进行了评估，以有效地对抗ML系统。

这个想法是，公司可以使用对抗性ML威胁矩阵通过使用一系列策略来模拟现实的攻击场景来测试其AI模型的弹性，从而获得对环境的初始访问权，执行不安全的ML模型，污染训练数据并泄露敏感信息通过模型窃取攻击。

微软说：“对抗性机器学习威胁矩阵的目的是将对机器学习系统的攻击定位在一个框架中，安全分析人员可以将自己定位在这些新的和即将来临的威胁中。”

“该矩阵的结构像ATT＆CK框架一样，由于它在安全分析人员社区中得到了广泛采用-这样，安全分析人员不必学习新的或不同的框架来了解ML系统的威胁。”

该开发是一系列旨在保护AI免受数据中毒和模型规避攻击的最新举措。值得注意的是，约翰·霍普金斯大学的研究人员开发了一个名为TrojAI的框架，旨在阻止特洛伊木马攻击，其中对模型进行了修改，以响应导致其推断出错误响应的输入触发器。

来源：郭盛华博客，转载请注明出处​