定制化对抗训练Customized Adversarial Training

CAT: Customized Adversarial Training for Improved Robustness
Minhao Cheng, Qi Lei, Pin-Yu Chen, Inderjit Dhillon, Cho-Jui Hsieh
arXiv preprint arXiv:2002.06789

作者提出定制化对抗训练（Customized Adversarial Training, CAT），通过解决和one-hot的问题改善对抗训练。

• Auto-tuning for adversarial training
  的问题：不应该为每个样本分配相同的较大的。一些样本与决策边界非常近，他们应该使用较小的，否则对抗训练将放弃这些样本。
  解决方案：在训练过程中为每个样本分配一个合适的
  
• Adaptive label uncertainty for adversarial training
  One-hot的问题：对抗训练的损失促使预测匹配one-hot label（例如，二分类的[1, 0]）。如果一个样本被扰动，则预测不应该保持one-hot。例如，如果一个样本被干扰到决策边界上，那么预测应该为[0.5, 0.5]，而不是[1, 0]。
  解决方案：adaptive label smoothing。给定one-hot标签，对其做平滑
  
  其中，。设，，则
  
• the final objective function
  
  s.t.
• CAT algorithm
  
  CAT algorithm