机器学习安全问题及其防御技术概述

近年来，机器学习受到了广泛关注，伴随的是机器学习安全问题的逐渐渗透。下面将分别概述机器学习的安全问题和机器学习安全问题的防御技术。

一、机器学习安全性问题

1、机器学习安全性问题分类

按攻击对分类器对影响分为诱发型攻击（影响训练集）和探索型攻击（不影响训练集）。

按攻击造成对安全损害将其分为完整性攻击，可用性攻击和隐私窃取攻击。

按攻击对专一性分为针对性攻击和非针对性攻击。

机器学习安全问题对分类体系

2、机器学习敌手模型

Battista Biggio在前人研究基础上提出从敌手目标、敌手知识、敌手能力和敌手策略四个方面来建立机器学习敌手模型。

敌手目标：攻击者期望造成的安全破坏度（完整性、可用性或隐私性）和攻击的专一性（针对性和非针对性）。

敌手知识：从分类器的具体组成来考虑。从敌手是否知道分类器的训练数据、特征集合、学习算法和决策函数的种类及其参数等方面将敌手知识划分为有限的知识和完全的知识。

敌手能力：攻击者对训练数据和测试数据对控制能力。包括攻击者对分类器造成对影响，敌手控制训练数据或者测试数据的程度，敌手操纵的特征的内容及具体程度。

敌手策略：攻击者为最优化其攻击目的会对训练数据和测试数据进行的修改措施。

3、机器学习的安全性问题

机器学习的安全性问题主要集中在监督学习中，其中分类算法的安全性问题居多。这里从机器学习的训练过程和测试/推理过程进行分析。

1）训练过程的安全问题

投毒攻击：攻击者通过注入一些精心伪造的恶意数据样本（带有错误的表情和攻击的性质），破坏原有的训练数据的概率分布，从而达到破坏训练模型的目的。

2）测试/推理过程的安全问题

常见的有欺骗攻击（包括逃避攻击、模仿攻击）和逆向攻击。

逃避攻击：攻击者通过产生一些可以成功地逃避安全系统检查的对抗样本，实现对系统的恶意攻击。

模仿攻击：侧重于对受害者样本的模仿。攻击者通过产生特点的对抗样本，使机器学习错误地将人类看起来差距很大的样本错分类为想要模仿的样本。

逆向攻击：利用目前机器学习系统提供的API来获取系统模型的一些初步信息，进而进行逆向分析，获取模型内部的一些隐私数据。

4、机器学习安全防御技术

安全防御技术主要有针对机器学习算法的安全评估、针对训练过程的防御技术、针对测试/推理过程的防御技术已经对数据安全对隐私保护技术这几方面。

机器学习的安全威胁及其防御措施

1）训练过程的防御技术

训练过程主要采用投毒攻击行为，即在训练过程注入恶意数据，因此其防御技术主要采用数据清洗或提高学习算法的鲁棒性。

数据情绪主要是对恶意的训练数据进行筛选移除，手段直接且实际。

2）测试/推理过程的防御技术

主要集中在对学习算法对鲁棒性提高上。

另一类防御措施上采用考虑数据分别的主动防御机制，可以通过在训练时加入对抗样本的方式仿真测试可能的数据分布。

3）隐私保护的机器学习技术

加密技术是对数据隐私的关键，差分隐私技术就是一种通过加密数据来保护隐私的方式。它通过对数据添加干扰噪声来保护所发布数据中潜在对用户隐私信息。

此外，同态加密技术允许用户直接对蜜文进行特定对代数运算，得到数据仍是加密的结果，与对明文进行同样的操作再将结果加密一样。

参考文献

《机器学习安全性问题及其防御技术研究综述》 李 盼，赵文涛，刘 强，崔建京，殷建平  国防科技大学