关于《Detection of Adversarial Training Examples in Poisoning Attacks through Anomaly Detection》的阅读分享

Detection of Adversarial Training Examples in Poisoning Attacks through Anomaly Detection——阅读笔记

小组成员：岑鹏，吴易佳，秦红梅 2020.4.15

---

1. 背景

 机器学习在我们的生活中有许多应用，包括计算机视觉，网络入侵检测等。但是 通过这些模型容易受到攻击。攻击者可以在训练数据中投放恶意样本来破坏学习过程。最近研究表明，通过最优攻击策略可以破坏机器学习的性能。
 本文提出一中基于离群点检测的防御机制来减轻这些最优投毒攻击的影响。之前提出的提出的防御策略依赖于测量每个样本对算法性能的影响。尽管检测到一些投毒攻击是有效的，但是在训练数据集中测试每个样本的影响通常是非常复杂的，因为它需要对集合中的每个样本重新训练和评估算法的性能。本文方法：提出了一种不同的投毒攻击对抗实例检测方法
本文主要贡献如下：

1. 提出了一种基于数据预滤波和离群点检测的线性分类器投毒攻击的有效算法。这种防御策略是不可知的具体参数的实际学习算法，为增强实际机器学习系统的安全性以抵御投毒攻击提供了一种有用的方法。
2. 在真实数据集上进行的实验评估，显示了我们提出的防御方法的有效性，包括特征数与训练点数相比较高的示例。实验结果表明，我们的对策大大减轻了论文[16]-[18]所述“最佳”投毒策略的影响。
3. 我们的实验表明，更简单的约束攻击，如标签翻转，更难检测。我们也提供了一个经验比较的效果，这是第一次系统地研究离群点检测的好处，以减轻数据中毒对机器学习算法的影响。

2. 最佳投毒攻击

 在投毒攻击中，根据攻击者定义的目标，在学习者的训练数据集中注入对抗实例来影响学习算法。典型的对抗性例子是为了最大化学习算法的误差而设计的，这里只考虑二元线性分类问题。

2.1 问题描述

  假设分类器是由w参数化的，可以将攻击者的目标表示为如下的双层优化问题:

  可以利用梯度上升策略得到优化问题的一个局部最大值，只要损失函数和学习算法是连续可微的,就可以将上述问题的内部优化问题替换为对应的一阶最优性条件：

   对于梯度上升策略，可以计算如下更新规则:

   利用分类器，可以通过改变投毒点的值来改变和的值。因此，上式中对应的导数可以为:

2.1线性回归分类：套索投毒

   学习此分类器参数最简单的方法是最小化训练集上的均方误差(MSE)。学习算法的损失函数可以表示为:

  我们使用一种策略来计算一次一个投毒点的梯度。计算涉及单个投毒点的攻击者目标的导数：

  算法1描述了针对类套索分类器的最优投毒攻击策略的整个过程。其中假设投毒点的标签是攻击者任意设置的，然后使用训练集训练分类器，选择标签与相反的样本，使这些样本在将标签翻转到时损失最大。在每次迭代中，算法单独更新点，利用黄金分割方法GS得到非恒定学习率η来减少迭代次数，增强梯度上升算法的稳定性，每次计算中毒点的导数时，重新训练分类器以此保证精确地计算梯度。

3.防御方法

  由于许多应用程序收集了大量的数据，因此训练数据的保存并不总是可能的，中毒攻击是一种严重的威胁。然而，一小部分数据的精确处理是可以实现的。在这些背景下，我们建议使用基于距离的异常检测来检测对抗训练的例子，使用一小部分可信数据点。在这些背景下，我们建议使用基于距离的异常检测来检测对抗训练的例子，使用一小部分可信数据点。

4.实验结果

  在实验部分我们采用了mnist数据集和Spambse数据集，这两个数据集都是网上公开的数据集，具有普遍性，能更能证明我们的防御方法。

4.1Mnist数据集

  在这种情况下，我们选择正则化参数λ通过一个5倍交叉验证程序。 当λ被选择与数据相关的过程，作为交叉验证，它的值也受到中毒点的增加的影响。在这种情况下，由于训练集相对较小，与特征数量相比，中毒攻击更加有效。 误差从干净数据集中的0.037提高到0.391 增加20%的中毒点，即。 误差增加10倍以上。 在这种情况下，当不进行辩护时，误差的标准偏差相当大。

#### 4.2Spambse数据集   实验中，只考虑54个特征，限制了特征集。 在这一缩小的特征上设定基线精度，即在没有攻击时，不受影响，但中毒策略更容易应用。 显示中毒攻击的影响，视中毒点的数目而定有关。 200例训练中5%中毒添加10个恶意示例)。 我们可以观察到，当没有应用防御时，测试集上的分类误差从0.112增加到0.195，中毒点的20%。 另一只手 可以理解的是，无论采用何种具体方法，离群点检测都非常有效地减轻了攻击的影响。

参考文献：

 [1]Detection of Adversarial Training Examples in Poisoning Attacks through Anomaly Detection