[PED09]Deep one-class classification

论文名：Deep one class classification

作者：Lukas Ruff * 1  Robert A. Vandermeulen * 2 Nico Gornitz ¨ 3

发表刊物：ICML

发表时间：2018

相关概念： OCSVM SVDD

提出方法： Deep SVDD

Abstract

Those approaches which do exist involve networks trained to perform a task other than anomaly detection, namely generative models or compression, which are in turn adapted for use in anomaly detection; they are not trained on an anomaly detection based objective. 确实存在一些方法，使用训练的网络来执行异常检测之外的任务，被称为生成模型或压缩，反过来也可以被用在异常检测中，他们没有在基于异常检测的目标上进行训练。

Introduction

需要能在很大的数据集、很高维的数据中检测异常   传统的异常检测方法： One-Class SVM单分类SVM (OCSVM)：最优超平面，坐标原点被假定为唯一的异常样本 SVDD:原始数据--高维表示--Min超球体积--求得c和R。 Kernel Density Estimation 核密度估计(KDE) 缺点： 1、浅层特征工程。由于糟糕的计算可扩展性和维度诅咒，导致在高维数据场景中经常失败。为了有效，这种浅层方法通常需要大量的特征工程。 2、由于和矩阵的构造和操作导致a poor computational scaling，除非使用近似技术，否则规模至少为样本数的平方。 3、核方法需要存储支持向量，需要大量内存。   深度学习的方法： 用深度学习做异常检测的难点在于找到合适的无监督学习深度对象是很困难的 现在的一些方法结果不错，但是他们都没有通过优化基于异常检测目标函数的优化来进行训练，并且大多是有依赖于基于重建误差的启发式算法 mix: fully deep: --------------------- 本文提出了一种新的深度异常检测的方法，灵感来源于基于核的单分类问题以及最小体积估计。 1、我们的方法Deep SVDD，训练一个神经网络，然后最小化包含网络中数据特征的超球体积,提取数据分布变化的共同因素。fully deep //unsupervised other deep AD: 依赖重建误差，无论是在用于学习表示的混合方法中，还是直接用于学习和检测中。 2、Deep autoencoder：会有低维的中间表示，最小化重建误差。网络可以从正常的样本中提取出共同因子并进行重建，二异常样本这些共同的因素所以不能被准确的重建。可以在Mix和fully deep中使用。mix：将学习到的 嵌入向量运用到传统的AD 中。fully deep:直接用重建误差作为异常分数。 denoising autoencoder、variational autoencoder、sparse autoencoder、deep convolutional autoencoder(DCAEs)（应用于图像视频数据的AD应用中）自动编码器不直接以AD为目标，应用与此的主要困难是压缩的度，也就是降维的度。 3、AnoGAN：test data--生成样本--潜在空间表示。重建误差、异常分数。与自动编码器类似，困难在于如何正则化（规范化）生成器以实现紧凑性。

method

Soft-bound Deep SVDD，一种深度一分类的方法 联合学习参数Ｗ和最小化在输出空间包含数据的超球的体积 目标函数： 第一项最小化超球体积。 第二项是对那些位于超球外的惩罚项，超参v控制超球体积和超过边界的一个权衡。如果v大，就允许一定的超出，如果v很小，超出一点就施以很大的惩罚。 第三项是网络参数Ｗ上的权重衰减正则化。   One-Class Deep SVDD 目标函数： 第一项，使用二次损失来惩罚每个网络表示到超球中心的距离。 第二项，网络权重衰减正则项，λ是超参。 One-Class Deep SVDD也可以视为找到最小体积的超球。 但与软边界deep SVDD不同，deep SVDD通过直接惩罚半径和落在球体外的数据表示而收缩球体，One-Class Deep SVDD通过最小化所有数据表示到中心的平均距离来收缩球体。 同样，为了将数据（平均）尽可能映射到接近中心c，神经网络必须提取变异的共同因子。 对所有数据点上的平均距离进行惩罚而不是允许某些点落在超球外，这与大多数训练数据来自一个类的假设是一致的。   异常分数可以用上式来计算，异常样本结果为正，正常样本结果为负。

优化 Deep SVDD

命题１　权重是全０的话，网络产生一个常数函数映射到超球中心，导致超球崩溃，因为超球半径为０。 命题２　网络中的隐藏层有偏移项bias term，也是学习到一个常数函数映射，导致超球崩溃。 命题３　具有有界激活函数的网络单元，会在后续层中模拟偏移项，这又导致超球崩溃。 因此，在Deep SVDD中应首选无界激活函数（或仅被0　bound的函数），例如ReLU，以避免由于“学习”偏移项导致的超球崩溃。

results

MNIST CIFAR-10 GTSRB