Learning Memory-guided Normality for Anomaly Detection论文解析

近日拜读了本篇论文,有以下理解:

1.问题研究背景

       检测视频序列中的异常事件(如人行道上的车辆)的问题对监控和故障检测系统尤为重要。由于一些原因,它是极具挑战性的。首先,异常事件是根据不同的情况而确定的。也就是说,同样的活动可能是正常的,也可能是不正常的(例如,在厨房或在公园里拿刀)。在这种情况下,手动注释异常事件是劳动密集型的。其次,收集异常数据集需要大量的努力,因为异常事件在现实生活中很少发生。因此,异常检测通常被认为是一个无监督的学习问题,目的在于学习一个描述常态的模型,没有异常的样本。在测试时,不被模型描述的事件和活动就被认为是异常的。

2.创新点

1、由于单一原型特征不足以表示正常数据的各种模型,所以本文使用多个原型来代表正常视频帧的不同模型,同时引入memory模块,以此记录正常数据的原型特征。

2、提出特征紧凑性和分离性损失来训练记忆,并提出一种新记忆更新方案,且仅在正常样本情况下进行更新。

3、提供了广泛的实验分析与消融研究

3.算法流程

Learning Memory-guided Normality for Anomaly Detection论文解析_第1张图片

 

3.1训练阶段

训练阶段主要包括三个部分:重建视频帧、训练损失和异常得分。

3.1.1重建视频帧

       在重建视频帧阶段,本文使用广泛用于重建和未来帧预测的U-Net架构,从输入视频帧中提取特征,并在特征中重建帧。但本文在编码器中删除了最后一层归一化和ReLU层,增加了一个L2层。

       由于单一的原型特征不足以代表正常数据的各种模式。也就是说,在正常视频帧的特征空间中存在多种原型类型(即模式或特征的中心点),本文提出了一个用于异常检测的内存模块,其中内存中的单个项目对应于正常模式的原型特征。我们使用memory项目中的原型特征来表示视频帧,减少了CNN的容量。

       首先输入正常视频帧It到编码器中,编码器进行查询特征(queries feature)的提取,这些特征被用来检索memory中的原型正常模式并更新记忆,memory模块中的items进行read和update操作,在update中,对于每个记忆项,本文选择所有被认为是最近的queries,并通过使用加权分数防止存储器在测试时记录异常样本的特征,然后把memory items和query features读取到解码器中,从而重建未来视频帧。

       详解见

Learning Memory-guided Normality for Anomaly Detection 模型介绍_m0_51951959的博客-CSDN博客
 

3.1.2 训练损失

       在训练损失阶段,本文通过对比输出It和ground truth计算出reconstruction loss,从而使解码器重建的视频帧与地面相似。

       Feature compactness loss将正常视频帧的特征映射到内存中最近的项目并鼓励queries接近memory中最近的项目,但由于所有queries都在嵌入空间内紧密映射,使得所有queries和items都相互接近,然而memory中的items应该有足够的距离,以考虑各种模式的正常数据。

       所以为了解决上述问题,同时获得紧凑的特征表示,本文提出feature separateness loss,使每个特征与其最近的项目之间的距离最小化,同时使该特征与第二个最近的项目之间的差异最大化,从而产生将item放在远处的效果,实现允许更新离queries最近的项目,同时消除第二近项目的影响,将记忆中的单个项目分开,并增强特征和记忆项目的辨别能力。

3.2测试阶段

       通过训练集数据将模型训练好以后,进行测试阶段,此时利用abnormality score对视频帧中的正常和异常程度进行量化。

详细过程见
Learning Memory-guided Normality for Anomaly Detection创新点介绍_m0_52218200的博客-CSDN博客

代码详解见

Learning Memory-guided Normality for Anomaly Detection 代码解析_Jam_in_C_major的博客-CSDN博客

本文仅作为科研研究

你可能感兴趣的:(机器学习,计算机视觉,cnn)