论文整理：LEARNING AND EVALUATING REPRESENTATIONS FOR DEEP ONE-CLASS CLASSIFICATION

该论文提出了一种新的增强分布的对比学习方法，该方法通过数据增强来扩展训练数据的分布，将增强后的数据也作为不同样本进行自监督学习，自监督学习倾向于让不同样本距离拉远，所以除了原始不同样本拉远，增强后的样本也与原始样本拉远，使得原始数据集的样本分布不服从均匀分布，易于将正常样本与异常样本分开。

1.introduction

现有的单分类方法的缺点：
生成式：kernel density estimation (KDE），但是维数灾难阻碍了高维密度的精确估计。
判别式：one-class SVM (OC-SVM)，或者SVDD,性能受限于输入数据的表征质量。
上述两类方法在单分类任务上性能受限的核心问题是如何学习到好的高维数据表征。深度学习的发展提升了上述方法的性能，但是对深层单类分类器的简单训练会导致将所有数据映射到单个表示的退化解，也称为“超球体塌陷”hypersphere collapse”（有点类似于恒等映射）。过去的工作通过限制网络架构来规避这些问题（添加约束）。
本文提出一个两阶段框架，第一阶段使用自监督学习训练模型，获得高级表征，第二阶段使用上述表征训练单分类器，（OC-SVM，SVDD，KDE），也就是只用正常样本训练单分类器，输出是得分。测试时候使用f+单分类器输出得分

image.png

有助于将表征学习从单分类器的构建中解耦出来，以使用更优秀的表征学习方法，如对比式自监督学习。
本文提出了一种增强分布的对比学习方法（distribution-augmented contrastive learning, ）一种带有分布增强的对比学习变种。

2.related work

生成式模型建模训练样本的分布密度，当样本表现出低密度时，模型能够检测到异常。然而，对于高维数据，生成模型得到的密度会产生误导。
自监督学习因为对于表征的优秀学习能力，开始被用在单分类任务中。本文提出的增强分布的对比学习方法，学习预测几何变换，将旋转预测扩展为使用更多几何变换作为预测目标。传统的自监督应用在单分类会将分类器或者投射头舍弃，本文将自监督学习的几何变换分类器用作单类分类的代理。

3.方法

在对比式学习中，投射头的 作用得到了验证，但是在其他类型的自监督学习中很少用，比如旋转角度预测。而其他研究发现，较低层表示通常对下游任务更好，因为最后一层的表征直接参与优化代理损失，变得过于复杂，在对代理任务有辨别力的同时丢失数据的有用信息。所以对于数据增强预测任务，本文加上了投射头。
为了学习到更好表征，一种方法是学习分辨原始图片和数据增强后的图片（如角度旋转）。另一种方法是对比学习，拉远同一样本的不同数据增强得到的视角，拉远不同样本。
尽管对比学习在自监督学习中非常成功，但是可能不适合单分类任务。其存在两个问题。

1.类别冲突。最小化对比损失，需要让负样本（两个不同的样本）间的表征的距离尽可能大。但是在单分类中，只有正常类一类样本参与训练，所有的样本来自同一个类别，让同一个类别的样本的表征距离尽可能远，这与深度单分类的思想冲突。在Deep one-class classification这篇论文中，通过最小化表征到中心的距离来学习表征（可能表达的意思是同一类的表征尽可能稠密）。

image.png

image.png

2. 表征的uniformity，对于对比损失函数而言，对于分母，最优的解决方案是M趋近于无穷（因为对于均匀分布，样本越多，越均匀），即
   image.png
   
   

   服从均匀分布。然而在下图（a）可见，当正常样本服从均匀分布时，异常样本与相近的正常正本较近，难以区分，当较少其均衡性时候，有助于二者区分。

   
   
   image.png
   
   背景知识（SimCSE: Simple Contrastive Learning of Sentence）：对比学习的目的是学习更好的表征空间，为了衡量表征空间的质量，Wang and Isola (2020)[3]提出了衡量对比学习质量的两个指标：alignment和uniformity，alignment计算正样本对间的平均距离：
   
   image.png
   
   

   而uniformity计算向量整体分布的均匀程度：

   
   
   image.png

希望这两个指标都尽可能低，也就是一方面希望正样本要挨得足够近，另一方面语义向量要尽可能地均匀分布在超球面上。

因为均匀分布信息熵最高，分布越均匀则保留的信息越多，“拉近正样本，推开负样本”实际上就是在优化这两个指标。

本文提出的单类对比学习。为了降低均匀分布程度，使用适中的batch_size,而不是自监督学习中常用的更大的batch_size.
除此以外还有本文重点的则增强分布的对比学习。意思是把原图旋转90，180，270的数据增强图也作为正常样本参与训练。由于对比学习会将不同的instance推远。所以除了把元数据集的不同样本的表征在隐空间推远，也把增强的样本表征和原图推远。这样就降低了数据集的均匀性，表征的示例间图2 c.
思路过程是这样的。
传统自监督学习-->希望alignment和uniformity都更低，也就是正样本的不同view更近，不同样本的表征更远-->uniformity更低训练集会越符合均匀分布-->导致单分类异常样本与正常样本过于接近，无法区分-->单分类不希望仅由正样本组成的数据集符合均匀分布。
当把旋转增强后的图象也当作其他样本加入训练集-->对比学习不仅会将原来的不同样本推开，还会将增强的图象也和原来的图象推开-->原来的样本的表征分布就不符合均匀分布了-->异常样本与正常样本容易区分。间图2c.

可得出核心是不希望异常检测的训练集的表征符合均匀分布，占满整个表征空间。本文方法有点过于依赖自监督学习，尝试别的方向。

image.png