ECCV 2022 Oral | 无需微调即可泛化！RegAD：少样本异常检测新框架

作者丨王延峰、张娅

来源丨机器之心

编辑丨极市平台

导读

 

本文介绍了一种少样本异常检测框架 RegAD，用于学习多个异常检测任务之间共享的通用模型。RegAD 无需模型参数调整，仅利用少量正常样本，就可以直接应用于新的异常检测任务。 

论文链接：https://arxiv.org/abs/2207.07361

代码链接：https://github.com/MediaBrain-SJTU/RegAD

前言

近年来，异常检测在工业缺陷检测、医疗诊断，自动驾驶等领域有着广泛的应用。“异常”通常定义为 “正常” 的对立面，即所有不符合正常规范的样本。通常来说，相比于正常，异常事件的种类是不可穷尽的，且十分稀有，难以收集，因此不可能收集详尽的异常样本进行训练。因此，近期关于异常检测的研究主要致力于无监督学习，即仅使用正常样本，通过使用单类别（one-class）分类，图像重建（reconstruction），或其他自监督学习任务对正常样本进行建模，之后，通过识别不同于模型分布的样本来检测异常。

大多数现有的异常检测方法都专注于为每个异常检测任务训练一个专用模型。然而，在诸如缺陷检测之类的真实场景中，考虑到要处理数百种工业产品，为每种产品均收集大量训练集是不划算的。对此，上海交通大学 MediaBrain 团队和上海人工智能实验室智慧医疗团队等提出了一个基于配准的少样本异常检测框架，通过学习多个异常检测任务之间共享的通用模型，无需进行模型参数调整，便可将其推广到新的异常检测任务。目前，这项研究已被 ECCV2022 接收为 Oral 论文，完整训练代码及模型已经开源。

方法简介

在这项工作中，少样本异常检测通用模型的训练受到了人类如何检测异常的启发。事实上，当尝试检测图像中的异常时，人们通常会将该检测样本与某个已经被确定为正常的样本进行比较，从而找出差异，有差异的部分就可以被认为是异常。为了实现这种类似于人类的比较的过程，本文作者采用了配准技术。本文作者认为，对于配准网络而言，只要知道如何比较两个极度相似的图像，图像的实际语义就不再重要，因此模型就更能够适用于从未见过的异常检测新任务。配准特别适用于少样本异常检测，因为配准可以非常方便地进行跨类别推广，模型无需参数微调就能够快速应用于新的异常检测任务。

上图概述了基于配准的少样本异常检测的框架。与常规的异常检测方法（one-model-per-category）不同，这项工作（one-model-all-category）首先使用多类别数据联合训练一个基于配准的异常检测通用模型。来自不同类别的正常图像一起用于联合训练模型，随机选择来自同一类别的两个图像作为训练对。在测试时，为目标类别以及每个测试样本提供了由几个正常样本组成的支撑集。给定支撑集，使用基于统计的分布估计器估计目标类别注册特征的正态分布。超出统计正态分布的测试样本被视为异常。

这项工作采用了一个简单的配准网络，同时参考了 Siamese [1], STN [2] 和 FYD [3]。具体地说，以孪生神经网络（Siamese Network）为框架，插入空间变换网络（STN）实现特征配准。为了更好的鲁棒性，本文作者利用特征级的配准损失，而不是像典型的配准方法那样逐像素配准，这可以被视为像素级配准的松弛版本。

实验结果

在与其他少样本异常检测方法的比较上，RegAD 无论在检测性能、适用到新类别数据的自适应时间上，相比于基准方法 TDG [4] 和 DiffNet [5] 都有显著的优势。这是由于其他的方法都需要针对新的类别数据进行模型的多轮迭代更新。另外，RegAD 相比于没有进行多类别特征配准联合训练的版本（RegAD-L），性能也得到了显著的提升，体现出基于配准的通用异常检测模型的训练是十分有效的。本文在异常检测数据集 MVTec [6] 和 MPDD [7] 上进行实验。更多的实验结果和消融实验可参考原论文。

此外，作者还展示了异常定位可视化的结果。可以看到，联合训练可以使得模型的异常定位变得更加准确。

T-SNE 的可视化也显示出，基于配准的训练可以使得同类别的正常图像特征变得更加紧凑，从而有利于异常数据的检出。

总结

这项工作主要探索了异常检测的一个具有挑战性但实用的设置：1）训练适用于所有异常检测任务的单一模型（无需微调即可推广）；2）仅提供少量新类别图像（少样本）；3）只有正常样本用于训练（无监督）。尝试探索这种设置是异常检测走向实际大规模工业应用的重要一步。为了学习类别无关的模型，本文提出了一种基于比较的解决方案，这与流行的基于重建或基于单分类的方法有很大不同。具体采用的配准模型建立在已有的配准方案基础上，充分参考了现有的杰出工作 [1,2,3]，在不需要参数调整的前提下，在新的异常检测数据上取得了令人印象深刻的检测效果。

参考文献

[1] Xinlei Chen and Kaiming He. Exploring simple siamese representation learning. CVPR. 2021.

[2] Max Jaderberg et. al. Spatial transformer networks. NeurIPS. 2015.

[3] Ye Zheng et. al. Focus your distribution: Coarse-to-fine non-contrastive learning for anomaly detection and localization. arXiv:2110.04538. 2021.

[4] Shelly Sheynin et. al. A hierarchical transformation-discriminating generative model for few shot anomaly detection. ICCV. 2021.

[5] Marco Rudolph et.al. Same same but differnet: Semi-supervised defect detection with normalizing flows. WACV. 2021.

[6] Paul Bergmann et. al. MVTec AD--A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection. CVPR. 2019.

[7] Stepan Jezek et. al. Deep learning-based defect detection of metal parts: evaluating current methods in complex conditions. ICUMT. 2021.

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

计算机视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~