Fast and Scalable Adversarial Training of Kernel SVM via Doubly Stochastic Gradients

基于双重随机梯度的核支持向量机快速可扩展对抗性训练

本文针对核支持向量机，提出了adv-SVM，通过对抗训练来提高其对抗鲁棒性。具体而言：

• 首先建立原始空间和核空间之间样本扰动的连接，然后基于该连接给出核支持向量机对抗性训练的简化和等价公式；
• 接下来，基于两个无偏随机近似（即一个在训练点上面，一个在随即特征上）的双随机梯度被应用于更新目标函数的解；
• 最后，我们证明我们的DSG优化算法在恒定步长和递减步长下以O(1/t)的速度收敛到最优

文章主要贡献：

• 我们基于原始空间和核空间之间的扰动关系，为核支持向量机开发了一种对抗性训练策略adv-SVM，并将其转化为等价的凸优化问题，然后应用DSG算法以有效的方式解决该问题。
• 我们提供了全面的理论分析，以证明我们提出的adv SVM可以以O（1/t）的速度收敛到最优解，步长不变或减小，即使它基于近似原理。
• 我们研究了adv SVM在典型白盒和黑盒攻击下的性能。实验结果表明，我们提出的算法可以在相对短的时间内完成训练过程，并在同时面对各种攻击策略时保持鲁棒性。

背景知识：

SVM是在一个2分类数据集上训练的，其中是d维输入空间的正常样本，是对应的标签，

AT可以表述维最小-最大问题，内部最大化问题模拟攻击者行为，该攻击这构建了导致最大输出是真的对抗样本：

 代表hinge loss

外部最小化问题的目标是找到使内部最大化造成的损失最小化的参数：

 SVM中的AT

一旦将对抗样本映射到内核空间将变得不可测，但原始空间和核空间扰动之间是存在联系的，

 内部最大化问题：

 原始AT的最大-最小问题可以写为：

 Learning Strategy of adv-SVM

 目标函数可以写为:

 双随机梯度下降

为了以随机方式迭代更新f，需从数据分布中采样每个迭代的数据点。的随机梯度为：

 接下来用随机特征逼近算法来逼近核的值

更新规则：