2022/10/31-11/5周报

周报内容:

1.论文精读《DRAEM》

2.焊接电路板数据集调研

3.使用PP-YOLOE+M模型进行PCBA板缺陷检测

4.下周工作计划


学习产出:

一、论文笔记

DRAEM – A discriminatively trained reconstruction embedding for surface anomaly detection

代码链接:GitHub - VitjanZ/DRAEM

提出了一个新的深层表面异常检测网络,该网络以端到端的方式对合成的just-out-of-distribution图像(由正常样本合成得到)进行判别训练学习异常图像的联合表示及其无异常重建,同时学习正常和异常示例之间的决策边界。该网络通过检测重建差来执行异常定位

2022/10/31-11/5周报_第1张图片

该网络分为三个模块:模拟异常生成模块、重建模块、判别模块

1.模拟异常生成

首先由Perlin噪声发生器 生成噪声图像P,并通过随机均匀采样的阈值二进制化为异常掩码Ma.

异常纹理源图像A是从与输入图像分布无关的异常源图像数据集采样的,

A被Ma遮掩,然后与原始图像 I(I需要通过Ma的倒数)混合,得到人工合成的异常图像 Ia

2022/10/31-11/5周报_第2张图片

该过程定义为:

 其中 β ∈ [0.1,1.0]β参数值均匀随机采样,可以从单个纹理生成各种异常图像(如下图所示) 

2022/10/31-11/5周报_第3张图片

2.重建模块

重建子网被公式化为编码器-解码器体系结构,可将输入图像的局部模式转换为更接近正态样本分布的模式训练网络从模拟合成的异常图像Ia重建原始图像I 重建图像记为Ir,重建误差为

 2022/10/31-11/5周报_第4张图片

 3.判别模块

 将重建子网的输出Ir和输入图像Ia连接并输入到判别子网,进行层级判断对比输出异常分割掩码Mground truth为Ma。使用焦点损失  Lfocal计算M和Ma之间的误差。

4.异常定位和检测

通过平均滤波器卷积层对判别子网络的输出M进行平滑处理,通过平滑的异常得分图的最大值来计算最终的图像级异常得分  η

 根据该异常得分估计图像中是否存在异常。

实验:

在MVTec数据集上进行实验,使用了异常检测中的标准度量标准AUROC

2022/10/31-11/5周报_第5张图片

二、焊接电路板数据集调研

1.论文:FICS-PCB: A Multi-Modal Image Dataset for Automated Printed Circuit Board

Visual Inspection

论文及数据集链接:Trust-Hub.org

介绍:用于组件识别和组件缺陷识别

示例:

2022/10/31-11/5周报_第6张图片

 2022/10/31-11/5周报_第7张图片

2.论文:A dataset for computer-vision-based pcb analysis

论文链接:


A dataset for computer-vision-based PCB analysis | IEEE Conference Publication | IEEE Xplore

数据集链接:PCB DSLR Dataset | Computer Vision Lab (tuwien.ac.at)

介绍:PCB DSLR数据集旨在促进基于计算机视觉的印刷电路板(PCB)分析的研究,重点关注与回收相关的应用。该数据集包含来自回收设施的748张PCB图像,这些图像是在代表性条件下使用专业数码单反相机捕获的。所有图像都包含准确的PCB分割信息以及所有集成电路(IC)芯片(9313个样本)的边界框信息。

示例:

2022/10/31-11/5周报_第8张图片

3.micro-PCB Images(12GB

数据集链接:micro-PCB Images | Kaggle

数据集介绍:

Kaggle数据集,该数据集共包含  13 个微型 PCB 的8,125 张高分辨率图像。所有图像的平均大小为 1949×2126(宽度×高度)。在理想的照明条件下,微型PCB在相对于相机的25个不同位置拍摄。在每个位置,每个微型PCB都以5种不同的旋转方式捕获。这为每个微型PCB创建了相对于相机的125个独特方向。每个独特的方向被捕获4次并编码用于训练,然后捕获另一个相同品牌和模型的微型PCB并进行编码以进行测试。因此,在训练中使用的微型PCB与测试中使用的微PCB都不相同。尽管为训练而编码的微型PCB与为测试而编码的微型PCB几乎相同,但在某些情况下存在非常细微的差异。总体而言,数据集中的每个微型PCB都有500个训练图像和125个测试图像,从而创建了6,500/1,625的总体训练/测试拆分。

2022/10/31-11/5周报_第9张图片

 示例:

2022/10/31-11/5周报_第10张图片

 三、基于PP-YOLOE+的PCBA缺陷检测

制作芯片翘脚缺陷,命名为ic ,放入数据集进行训练。

结果如下:

epoch=40:

epoch=70:

  mAP没有提升,并且模型没有识别出该翘脚的缺陷

 四、下周工作计划

1.尝试复现DRAEM代码,并与SSPCAB进行混合。

2.调研焊接电路板检测相关工作

3.学习基础知识

你可能感兴趣的:(周报,计算机视觉,人工智能)