2022/10/31-11/5周报

周报内容：

1.论文精读《DRAEM》

2.焊接电路板数据集调研

3.使用PP-YOLOE+M模型进行PCBA板缺陷检测

4.下周工作计划

---

学习产出：

一、论文笔记

DRAEM – A discriminatively trained reconstruction embedding for surface anomaly detection

代码链接：GitHub - VitjanZ/DRAEM

提出了一个新的深层表面异常检测网络，该网络以端到端的方式对合成的just-out-of-distribution图像（由正常样本合成得到）进行判别训练。学习异常图像的联合表示及其无异常重建，同时学习正常和异常示例之间的决策边界。该网络通过检测重建差来执行异常定位。

该网络分为三个模块：模拟异常生成模块、重建模块、判别模块

1.模拟异常生成

首先由Perlin噪声发生器 生成噪声图像P，并通过随机均匀采样的阈值二进制化为异常掩码Ma.

异常纹理源图像A是从与输入图像分布无关的异常源图像数据集采样的,

A被Ma遮掩，然后与原始图像 I（I需要通过Ma的倒数）混合，得到人工合成的异常图像 Ia，

该过程定义为：

 其中 β ∈ [0.1，1.0]，β参数值均匀随机采样，可以从单个纹理生成各种异常图像（如下图所示） 。

2.重建模块

重建子网被公式化为编码器-解码器体系结构，可将输入图像的局部模式转换为更接近正态样本分布的模式。训练网络从模拟合成的异常图像Ia重建原始图像I ，重建图像记为Ir，重建误差为

 

 3.判别模块

 将重建子网的输出Ir和输入图像Ia连接并输入到判别子网中,进行层级判断对比输出异常分割掩码M。ground truth为Ma。使用焦点损失  Lfocal计算M和Ma之间的误差。

4.异常定位和检测

通过平均滤波器卷积层对判别子网络的输出M进行平滑处理，通过取平滑的异常得分图的最大值来计算最终的图像级异常得分  η ：

 根据该异常得分估计图像中是否存在异常。

实验：

在MVTec数据集上进行实验，使用了异常检测中的标准度量标准AUROC

，

二、焊接电路板数据集调研

1.论文：FICS-PCB: A Multi-Modal Image Dataset for Automated Printed Circuit Board

Visual Inspection

论文及数据集链接：Trust-Hub.org

介绍：用于组件识别和组件缺陷识别

示例：

 

2.论文：A dataset for computer-vision-based pcb analysis

论文链接:


A dataset for computer-vision-based PCB analysis | IEEE Conference Publication | IEEE Xplore

数据集链接：PCB DSLR Dataset | Computer Vision Lab (tuwien.ac.at)

介绍：PCB DSLR数据集旨在促进基于计算机视觉的印刷电路板（PCB）分析的研究，重点关注与回收相关的应用。该数据集包含来自回收设施的748张PCB图像，这些图像是在代表性条件下使用专业数码单反相机捕获的。所有图像都包含准确的PCB分割信息以及所有集成电路（IC）芯片（9313个样本）的边界框信息。

示例：

3.micro-PCB Images（12GB）

数据集链接：micro-PCB Images | Kaggle

数据集介绍：

Kaggle数据集，该数据集共包含  13 个微型 PCB 的8，125 张高分辨率图像。所有图像的平均大小为 1949×2126（宽度×高度）。在理想的照明条件下，微型PCB在相对于相机的25个不同位置拍摄。在每个位置，每个微型PCB都以5种不同的旋转方式捕获。这为每个微型PCB创建了相对于相机的125个独特方向。每个独特的方向被捕获4次并编码用于训练，然后捕获另一个相同品牌和模型的微型PCB并进行编码以进行测试。因此，在训练中使用的微型PCB与测试中使用的微PCB都不相同。尽管为训练而编码的微型PCB与为测试而编码的微型PCB几乎相同，但在某些情况下存在非常细微的差异。总体而言，数据集中的每个微型PCB都有500个训练图像和125个测试图像，从而创建了6，500/1，625的总体训练/测试拆分。

 示例：

 三、基于PP-YOLOE+的PCBA缺陷检测

制作芯片翘脚缺陷，命名为ic ，放入数据集进行训练。

结果如下：

epoch=40：

epoch=70：

  mAP没有提升，并且模型没有识别出该翘脚的缺陷

 四、下周工作计划

1.尝试复现DRAEM代码，并与SSPCAB进行混合。

2.调研焊接电路板检测相关工作

3.学习基础知识