论文阅读笔记《GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training》

核心思想

  本文提出一种基于半监督GAN的异常检测算法，主要的创新点在于在自动编码器之后，又增加了一个编码器，构成了“编码-解码-编码”的结构，通过比较第二个编码器的输出和第一个编码器的输出之间的差别，来评估输入图像是否属于异常图像。网络的训练过程同样也引入了对抗训练的思想，即使用一个区分器对解码器输出的重构图像进行判断，是来自原始图像还是重构图像，整个网络的结构如下图所示

  整个网络可以分为三个子模块：自动编码器模块（$G_E,G_D$），编码器模块（$E$）和区分器模块（$D$）。首先，输入图像$x$经过自动编码器模块中的编码器部分$G_E$得到潜空间中的特征向量$z$，再经过解码器部分$G_D$得到重构图像$\hat{x}$。然后重构图像$\hat{x}$进入编码器模块$E$，得到重构后的特征向量$\hat{z}$（图中标记有误）。最后重构图像$\hat{x}$和输入图像$x$还要输入到区分器$D$中进行判断。
  整个训练过程输入图像都是正常图像，测试时输入的图像既有正常图像，又有异常图像。当输入图像为异常图像时，编码器$G_E$将其信息编码得到特征向量$z$，但因为网络仅在正常图像条件下进行训练，因此解码器$G_D$不具备重构异常图像的能力，重构图像$\hat{x}$就会丢失异常部分的信息。当再次经过编码器$E$进行编码时，得到的重构特征向量$\hat{z}$自然也是不包含异常信息的，因此$\hat{z}$和$z$之间会有明显的差异，计算这一差异的绝对值得到异常得分$\mathcal{A}(\hat{x})$

  对于整个测试集$\hat{\mathcal{D}}$可以得到异常得分集$\mathcal{S}=\left\{s_i:\mathcal{A}(\widehat{x_i}),\widehat{x_i}\in \hat{\mathcal{D}}\right\}$，对整个异常得分集进行归一化处理

即可获得最终规范化的异常得分集${\mathcal{S}}^{\prime }$.

实现过程

网络结构

  两个编码器和区分器的结构基本是相同的，而区分器和解码器结构参考了DCGAN的结构。

损失函数

  损失函数包含三个部分：对抗损失（Adversarial Loss），上下文损失（Contextual Loss）和编码器损失（Encoder Loss）。其中对抗损失是计算了区分器中，对于输入图像$x$和重构图像$G(x)$得到的特征图差别，计算过程如下

  上下文损失计算输入图像和重构图像之间的差别

  编码器损失计算了潜空间的特征向量$z$和重构特征向量$\hat{z}$之间的差异

创新点

• 在原有的自动编码器的基础上又增加了新的编码器模块，构成“编码-解码-编码”的三级结构，并设计了相应的损失函数

算法评价

  本文研究的是异常检测问题，与缺陷检测有一定的相似性，但也有区别。异常检测本身只需要关注输入图像是否存在异常即可，不需要输出异常区域的位置，也不需要对异常区域进行分类。这个可以和分割成图块的缺陷检测问题结合起来，把异常得分转化成图块内存在缺陷的概率。最后我觉得本文叫做半监督（Semi-Supervised）并不合适，因为整个训练过程并没有用到任何的异常图像以及对应的Groundtruth，应该叫做无监督或者自监督可能更加合适。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。