论文笔记：Delving into Data: Effectively Substitute Training for Black-box Attack

论文笔记：Delving into Data: Effectively Substitute Training for Black-box Attack

• 主要内容

  本篇论文主要介绍了一种替代模型的训练方法：文章从一个新的角度来进行替代模型的训练，专注于设计“模型知识窃取”过程中的数据分布，具体来说就是提出了一种宽的分布内大规模合成数据的多样化数据生成模块(Diverse data generation module)，同时引入了对抗替代训练使得目标模型边界与替代模型的边界更加接近。两个模块的结合使得替代模型和目标模型有了更好的一致性

• 发表于CVPR 2021，与DaST (CVPR2020) 进行了对比

• 黑盒攻击分类

   * Score-based attack
   * Decision-based attack
   * Transferability-based attack
  

• 缺点
  替身模型的训练通常是需要对目标模型进行一定量的查询，利用输入和相应的标签信息训练替身模型。关键是，输入数据是否来自目标模型的训练数据？如果答案是“yes”，那么这样确实简化了替代训练的训练。但是使用原始数据训练替身模型也存在缺点：

   * 在许多真实世界的视觉任务中，收集真实的输入数据也并非易事。
   * 目标模型的训练数据可以提高替身模型的性能，但是不一定对提高替身模型与目标模型的一致性有帮助
  

• Motivation
  训练替身模型的关键是最小化替身模型与目标模型的决策边界，
  这就使得攻击者需要：
  * 大规模和多样化的训练数据
  * 从决策边界的角度考虑，分布于决策边界附近的临近数据

• Contribution
  * 通过深入研究输入“生成的替代训练数据”的本质，提出了一种新的有效的基于生成式替代训练范式，以提高无数据的黑盒攻击性能
  * 提出DDG模块：使用多种多样性约束进行DDG模块的训练；然后通过对抗性替代训练策略(AST)进一步提高替代模型与目标模型之间决策边界的一致性。
  * 在四个数据集和一个在线机器学习平台上的综合实验和可视化演示证明了我们的方法对最先进的攻击的有效性。

• 模型的框架
  

从图中可以看出，框架由DDG和AST模块两部分组成。DDG模块根据随机噪声向量和标签嵌入向量生成数据，其中i是指标签的序号数。为保证生成数据的多样性，生成器G使用了自适应标签正则化约束、噪声/标签重构约束、类间多样性约束。进一步，为了保证替代模型的决策边界与目标模型的决策边界更加一致，将合成数据与对抗样本一起用于替身模型的训练。教师-学生策略在这里被重新用于从T学习S。

• DDG模块
  为了合成更好的用于替代训练的数据，文章首先提出了一个新的多样化数据生成模块(DDG)，该模块具有三个约束来操纵生成的合成图像的多样性。原则上，这些约束函数鼓励生成器G学习每个不同类的相对独立的数据分布，并保持类间的方差，从而促进替代模型学习目标模型的知识。

• Adaptive label normalized generator
  该自适应标签归一化发生器可以更好地利用输入噪声和标签嵌入向量之间的关系来合成标签控制数据，其作用是帮助得到均匀分布的各个类别的数据用于训练替代模型。文中提出利用随机噪声和给定的标签来实现这点：
  * 首先，根据从N维空间的高斯分布中采样的随机噪声向量和label i，文章中提出根据嵌入层计算标签嵌入向量。这样的标签嵌入过程可以将单个离散的标签编码为一个连续的可学习的向量，并且该向量在特征空间中有更广泛的分布、包含更多的表达信息。
  * 第二步，通过两个全连接层提取出label-embedding vector的均值和方差
  * 然后，将提取出的均值和方差融入到反卷积块中，在特定类别的条件下迭代地合成图像, t代表反卷积块的个数。最终输出的数据就融合了标签的信息

• Noise/Label reconstruction：为了进一步保证生成的最终数据的多样性，文章引入了重构网络R去重构噪声向量，代表重构的input；Label reconstruction约束: f(*)计算的余弦距离，再计算真实标签和余弦距离之间的交叉熵损失

• Inter class Diversity类间多样性：为了进一步增强不同类的数据多样性，对于所有的合成图像，文章使用余弦相似矩阵来最大化类间距离。

• AST策略
  AST策略的目的是使替身模型的决策边界与目标模型的决策边界有更高的一致性；由于扰动相对较小，对抗样本可以看作是决策边界附近的样本。
  具体做法是：在训练的每次迭代中，生成器首先合成图像，然后利用一些白盒攻击算法基于当前的替代模型S生成合成数据的对抗样本，合成图像和对抗样本都用于训练替身模型：

• 问题：
  * 怎么计算label-embedding vector？
  * 为什么要通过两层全连接网络提取出label-embedding vector的均值和方差？
  * 重构损失为什么能保证样本多样性？为什么要用重构损失？