Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness

本文提出了一种解耦对抗对比学习（DeACL）的两阶段框架。该方法不同于之前直接将AT集成到SSL中的方法，而是将整个分为两阶段进行，这种动机将任务的重点冲为耦合问题寻找最优集成策略转移到为在问题寻找子解决方案。两阶段看似比但阶段耗费时间，但事实是：SSL需要比有监督的训练多M倍的迭代，AT通常比标准训练慢N倍，将AT与SSL组合到一起进行但阶段训练其速度慢了M*N倍，DeACL由于解缠效应只满了M+N倍。

动机：

分治(Divide-and-conquer)是ML中广泛使用的一种算法范式，它将一个复杂的问题分解为两个(或更多)子问题，这些子问题更容易解决。在这种设计思想的启发下，我们建议将复杂的健壮性SSL划分为两个子问题，即(a)(非健壮性)SSL和(b)(伪)监督AT。这种解耦优化过程通过将任务重点从寻找结合SSL和AT的最佳策略转移到寻找子问题的子解决方案，从而简化了健壮的SSL。总的来说，为了分解健壮的SSL，我们提出了一个新的两阶段框架，称为DeACL。为了区分，我们将阶段1的编码器表示为fθ1，阶段2的编码器表示为fθ2。

Stage 1: non-robust SSL for optimizing fθ1.（非鲁棒SSL用于优化 fθ1），其目标是获得类似标签的伪目标，用于指导下面的伪监督AT。主要用来加载预训练的编码器

Stage 2: pseudo-supervised AT for optimizing fθ2(优化fθ2的伪监督AT)，从SSL获得的表示向量称为目标，也叫做伪目标，用来区分标签

损失的设计。我们使用默认SSL损失(例如Eq 3)在我们的DeACL的阶段1优化fθ1。在阶段2，我们优化编码器fθ2，损失为:

文章主要框架