【文献阅读笔记】深度异常检测模型

导读

论文：DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY
时间：2019

本文是关于论文“DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY”的阅读笔记。本笔记是在阅读论文的基础上，对基本内容进行提炼，旨在进一步理解论文内容，加深对基于深度学习的异常检测方向的学习。论文中对深度异常检测模型进行总结，论文中分为六类进行介绍。

相关关键词及其英文描述记录

deep learning 深度学习
anomaly detection 异常检测
supervised 监督
semi-supervised 半监督
unsupervised 无监督
feature extraction network 特征提取网络
classifier network 分类器网络
GAN 生成对抗网络
transfer learning 迁移学习
deep reainforcement learning 深度强化学习

深度异常检测模型

Supervised deep anomaly detection 有监督深度异常检测

1. 监督学习依赖于分离数据类，而无监督学习注重解释和理解数据特征
2. 有监督深度学习包含两个自网络：特征提取网络、分类器网络
3. 计算复杂度：取决于输入数据维数和使用反向传播算法的隐层数
4. 优点：1）比无监督和半监督更精确。2）基于分类基础的测试阶段是快速的
5. 缺点：1）多类监督技术要求对各种正常类和异常类进行准确标记。2）当特征空间高度复杂和非线性时，无法区分正常数据和异常数据

Semi-Supervised deep anomaly detection 半监督深度异常检测

1. 所有训练实例只有一个类
2. 依赖以下假设将实例打分为异常：1）在输入空间和学习特征空间中彼此接近的点可能共享同一个标签。2）在隐层中学习鲁棒特征，并保留用于分离正常数据点和离群数据的属性
3. 复杂度：取决于输入数据维度和用于代表特征学习的隐层数
4. 优点：1）半监督模式下的GAN有巨大的希望。2）可以比无监督实现更高的性能
5. 缺点：在隐层中提取的分层特征，可能不能代表较少的异常情况，容易出现过拟合

Hybrid deep anomaly detection 混合深度异常检测

1. 深度学习模型被用在特征提取器来学习鲁棒特征，然后学习到的特征输入到传统算法中
2. 依赖假设：1）在深度神经网络的隐层中提取鲁棒特征，帮助分离隐层中能够隐藏存在的无关特征。2）在复杂的高维空间中建立鲁棒的异常检测模型，需要特征提取器和异常检测器。
3. 复杂度：深度神经网络的复杂度和传统算法的复杂度之和
4. 优点：1）特征提取器显著降低了维数诅咒。2）由于线性和非线性核在降低输入维数的基础上运行，混合模型具有更高的可伸缩性和计算效率。
5. 缺点：1）混合方法是次优的。2）更深层的混合模型效果更好，但需要的计算开销更大

One-class neural network for anomaly detection 用于异常检测的一类神经网络

1. 将深度网络与一类目标相结合，以提取数据表示，从而分离正常和异常数据
2. 依赖假设：1）提取深度神经网络隐层内数据分布中的公共变异因子。2）执行组合表示学习，并为测试类数据生成离群值得分。3）异常样本不能包含变异因素
3. 复杂度：深度网络的复杂度
4. 优点：1）联合训练一个深度神经网络，同时优化输出空间的数据超平面。2）提出一种交替最小化算法来学习模型的参数
5. 缺点：1）对于高维数据的训练时间和模型更新时间较长。2）输入空间变化，模型更新也需要更长的时间

Unsupervised deep anomaly detection 无监督深度异常检测

1. 自动编码器是用于异常检测的基本无监督学习框架
2. 依赖假设：1）正常数据和异常数据能够区分开。2）数据集中大部分是正常数据。3）根据数据集的内在属性，产生数据实例的离群值得分
3. 复杂度：取决于运算次数、网络参数和隐层
4. 优点：1）学习固有数据的特征，识别样本中共性。2）不需要为训练算法增加注释
5. 缺点：1）在高维空间找到共性比较困难。2）使用自动编码器需要选择正确的压缩程度。3）对噪声和数据破坏比较敏感

其他方法

1. 基于迁移学习的异常检测
2. 基于零镜头的异常检测
3. 基于集成的异常检测
4. 基于聚类的异常检测
5. 基于深度强化学习的异常检测
6. 深度异常检测的统计技术

下一步计划

对于工业异常检测：工业生产中，生产的多数都是正常产品，而异常产品非常少，并且异常的类型很难确定，有监督的方法虽然能够实现更高的效果，但是很难找到足够多的样本。因此，下一步打算阅读无监督学习方式的异常检测相关论文。