关于从安全角度看机器学习：真实的故事

 

今天，我们从安全的角度对机器学习进行考察，并回顾一些最有趣的事件。

机器学习如何应用于信息安全

一方面，机器学习帮助信息安全产品检测攻击，并帮助专家识别数据中新的依赖关系。另一方面，ML正在成为网络犯罪分子的工具之一。第三，机器学习本身也会有漏洞，构成威胁。我们发现最后一点是最令人好奇的，所以我们重点讨论它。

第一个问题是：机器学习到底有没有漏洞？每个人都听说过加密攻击和数据泄露的事情。媒体也曾警告过假货的危险，但许多人仍然没有认真对待。然而，我们越来越多地在现实生活中遇到机器学习及其算法。例如，在生物识别方面：智能手机通过我们的指纹和脸部识别我们。在一些机场，你不再需要排队等待管制人员检查你的护照：生物识别系统可以识别乘客的身份，并自动检查所有必要的数据--你的逗留时间是否已经过期或对离开有限制。另一个例子是智能社交媒体的推荐。危险不在于推荐系统可能错误地显示一个不相关的帖子，而在于这种系统收集了大量的用户数据。因此，威胁情况会增加。在线翻译服务、垃圾邮件和欺诈分析系统、语音助手、物联网和智能设备--没有这些使用机器学习技术的服务，现代生活是无法想象的。这意味着，它们的使用必须尽可能安全。

从不同角度看机器学习的安全性

为了了解全貌，从三个角度考虑ML系统的安全问题：

- 正在研究的攻击是什么？

- ML开发者害怕什么；

- 真正发生了什么？

正在研究的攻击是什么?

机器学习攻击通常被称为对抗性攻击。这种类型的攻击涉及攻击者歪曲原始数据，使ML模型出错。机器学习算法是不精确的，所以总是会有这样的数据。而我们人类甚至不会注意到这样的歪曲。通过对抗性技术，攻击者寻找一个盲点--一个模型对所做决定不确定的地方。

目前，研究人员不太喜欢的攻击是ML模型的后门。这种攻击允许对模型进行训练，使其对之前被特别改变过的数据产生所需的反应。如果没有这种暴露，该模型将照常工作。如果网络犯罪分子在受害者的基础设施中，很容易实施这种攻击。

ML开发者害怕什么

今年，分析机构Gartner发布了一项关于AI攻击的研究，询问开发者是否经历过AI隐私泄露或安全事件。根据该研究，41%的受访公司做出了积极的回应。在他们记录的事件中，60%是内部攻击者的数据泄露，27%是对用于运行AI算法的基础设施的攻击。斯坦福大学人工智能研究所关于人工智能的影响和进展的年度报告也证实了这一点。研究人员指出，2021年最紧迫的风险是网络安全（55%），其次是监管合规（48%），可解释性和隐私（各41%）。所有这些都表明，攻击是存在的，开发者也意识到了这种威胁。但仍不太清楚真正发生了什么。

真实的世界

安全行业的不同之处在于，没有关于事件的官方统计数据，因为大多数时候公司不会公开谈论它们。我们只能看到冰山一角，只能研究那些在网络上已经被人所知的案例。

有趣的是，这种攻击可以夺走博主的收入：你不再需要名人来推广产品和说正确的话。Deep fake技术可以轻易取代它。

ML系统可以被操纵吗？这是另一个令安全研究人员担忧的问题。美国警方的一个提示：如果在冲突期间，人们拍摄正在发生的事情，挑衅执法部门并在社交媒体上分享，警察就会在智能手机上播放流行音乐。严格的版权制度，如YouTube的版权制度，不允许在没有版权人的许可下发布歌曲，并阻止其视频。

对生物识别系统的安全性进行好奇的研究

我们的安全研究人员对生物识别终端和访问控制系统进行了全面的研究，发现它在安全方面不够强大。它发现，生物识别解决方案广泛存在且相对便宜，但并没有提供通常假设的保护水平，可能容易受到攻击。特别是，它发现许多生物识别终端和访问控制系统所使用的认证系统是不合格的。尽管生物识别解决方案被宣传为一种安全的认证选择，但这是事实。

总的来说，该研究表明，制造这类设备的公司需要仔细考虑生物识别认证系统中使用的安全措施。

了解你的客户

现在任何人都可以远程接受银行服务。金融机构得到了强制性身份识别程序--KYC--的帮助，以识别客户和交易方。它还负责确认交易。一位独立的研究人员试图使用机器学习绕过KYC验证（在这里阅读更多关于他的实验）。该工具使用了deep fake技术，使他能够以另一个人的名义通过KYC的授权。有关于如何正确创建KYC系统的指导方针，但它们不是强制性的，也不是由监管机构强制执行的。一切都留给了开发商。

对于授权，一个用户必须看着摄像头说几句话，然后录音进入审核（后来我们发现，是由人检查，而不是机器）。此外，他在形式上做到了这一点，忽略了deep fake所产生的明显的假象：不清晰的脸、奇怪的颜色、脸部的替换。最后，即使是假记录也能通过检查。

这个故事的结论是：不要自己实施复杂的系统，要找专业人士。 

开发者应该做什么

解决问题的传统方法是规范人工智能技术。根据一些专家的说法，这种方法可能会打击机器学习研究人员的积极性。例如，创建开源自动驾驶项目的Comma.AI创业公司创始人乔治-霍兹（George Hotz）已经宣布，他将停止开发工作，因为他认为，监管机构非常谨慎地控制自动驾驶系统相关技术的出现，实际上是在阻止其发展。

开发者应该意识到他们的人工智能系统的威胁模式，并考虑他们创建的系统中可能存在的漏洞。