【文献阅读笔记】去噪学生网络：DeSTSeg

2023 CVPR
领域：异常检测
目标：图像输入数据

1、模型

模型分为三个模块，包括教师网络、去噪学生网络和分割网络。
分为两个阶段进行训练，第一阶段训练去噪学生网络，第二阶段训练分割网络。

2、方法

去噪学生网络， 主要解决的是异常过度泛化的问题，利用编码器-解码器架构实现去噪。在第一个阶段将合成异常图像输入，训练去噪学生网络输出无异常图像。使用合成异常图像的目的是，模仿输入存在异常的情况。
分割网络， 主要解决水平特征区分不准确的问题。

架构

• 教师网络： 预训练的ResNet18，其中删除了最后一个块。
• 去噪学生网络：编码器是随机初始化的ResNet18，解码器是具有四个残差块的反向ResNet18，是通过双线性上采样替换所有下采样。
• 分割网络：两个残差块和ASPP模块。

权重

• 第一阶段：教师网络权重不变。
• 第二阶段：去噪学生网络和教师网络的权重均不变。

损失

• 第一阶段：损失是三个特征图的余弦距离之和。

• 第二阶段：focal损失和L2损失。

推理
测试图像输入到教师和学生网络，分割网络预测结果上采样到输入大小并作为异常分数。使用异常分数图中最高T值的平均值，T是一个调整超参数。

3、实验

结果

可视化结果

错误案例

第一行，GT显示原始位置和错位位置，而预测的只有错位位置。
第二行，GT显示仅有失真的部分，而预测的包含整个部分。
第三行和第四行，受到微小的纤维和污染影响。
表示出模型较为敏感。

消融实验

4、引用

Zhang X, Li S, Li X, et al. DeSTSeg: Segmentation Guided Denoising Student-Teacher for Anomaly Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 3914-3923.

代码地址： https://github.com/apple/ml-destseg

5、想法

1. 利用学生-教师网络的框架。
2. 利用去噪方法来解决异常的泛化。
3. 当一张图片是异常的，但是当作正常图像输入到第一阶段的训练中，输出结果可能会有所影响。