【论文阅读 08】Defect Detection in Electronic Surfaces Using Template-Based Fourier Image Reconstruction

         比较老的一篇论文，基于模板的傅里叶图像重建电子表面的缺陷检测
        关键词：缺陷检测，傅里叶变换(F.T.)、机器视觉、印刷电路板 (PCB)、模板匹配。
        总结：

1 Abstract

     一种用于检测和定位非周期性模式图像中小缺陷的新方法。在电子工业中，例如在印刷电路板或集成电路芯片的图像中，通常需要找到并识别微小的缺陷。传统的模板匹配技术通常在图像的局部像素信息上工作，因此对于几何变化、光照变化以及随机噪声非常敏感。此外，基于傅里叶变换的方法通常适用于普通和周期性纹理表面，不太适用于非周期性模式图像。在这篇论文中，提出了一种全局傅立叶图像重建方法，以应对这一问题。该方法通过比较模板图像和待检测图像的整个傅里叶光谱，来寻找缺陷。它只保留与局部异常相关的频率分量，然后使用傅里叶逆变换将测试图像重建，从而恢复局部异常并将通常模式移除，使表面变得均匀。这种方法对于平移和光照变化是不敏感的，可以在各种非周期性模式图像中检测到宽度仅为1像素的微小缺陷。这种方法的优点是能够在复杂的非周期性图像中精确地定位和检测缺陷，从而在电子工业等领域具有广泛应用前景。

2 Introduction

        自动目视检查（AVI）技术在电子工业中的应用。AVI是一种非接触的技术，用于检测电子产品制造过程中出现的小缺陷。这些缺陷通常出现在感知图像中，与周围背景有明显的局部差异。AVI技术已被广泛应用于电子工业中，用于检测各种不同类型的缺陷，包括焊料膏、焊料接头等。这种技术依赖于图像中的颜色特征和流形模型，或者使用支持向量机（SVM）或主成分分析（PCA）等机器学习方法来检测和识别这些缺陷。制造过程中，材料或产品的表面可以具有不同的纹理特征，例如均匀的表面、重复结构的纹理、随机纹理等。有些材料表面可能具有周期性模式，而另一些则不具备。AVI技术的关键之一是能够识别这些不同类型表面的局部缺陷，而无需事先了解表面的形式、周期性或局部纹理特征。这种灵活性使得AVI技术在电子工业中非常有用，因为它可以适应不同类型的产品和材料。
        印刷电路板（PCB）和集成电路（IC）晶圆/芯片在电子产品市场中的重要性。这些组件的电路布局通常具有独特而单一的模式，这意味着它们的图像在视觉上不具备重复的特征，因此被归类为非周期性模式图像。在这些电子产品中，例如智能手机和智能手表，产品的尺寸通常很小。由于尺寸小，需要一种强大的自动目视检查（AVI）技术来检测嵌入在这些复杂图案表面中的微小缺陷。这些缺陷可能对电子产品的性能和可靠性产生负面影响，因此必须及早检测和处理。
        解决非周期模式图像中电子表面缺陷检测问题的方法。在这种情况下，模板匹配似乎是唯一可行的技术。模板匹配使用无缺陷的样本图像（或一组无缺陷图像）作为模板，将测试图像与模板进行像素级比较，以检测偏差或不相似之处。研究人员Chua等人曾将金模板方法应用于晶圆中的粘结焊盘缺陷检测。工业检测应用中广泛使用的模板匹配方法通常使用图像差，如绝对差（SAD）和均方误差（MSE）之和，或者使用归一化互相关（NCC），以满足实时检测的要求。这些方法在检测大尺寸缺陷方面通常表现良好。然而，SAD、MSE和NCC对噪声、照明和图像移位变化非常敏感。这意味着在存在这些干扰因素的情况下，它们可能会产生误报或漏报，因此对于准确检测细微缺陷可能不够可靠。

         在进行精确的图像对齐后，由于二维数字图像的量化限制和制造过程中的随机变化，测试图像和模板之间仍可能存在一些微小的偏差。这些偏差通常表现为规则电路模式的边缘像素与图像中的局部异常之间的关系。后处理可以用来解决这个问题，后处理可以执行以下操作：

1. 去除边缘像素：有时边缘像素可能会干扰局部异常的检测，因此可以采取措施将它们删除。
2. 去除真正的细微缺陷：有时图像中可能存在真正的细微缺陷，后处理可以用来识别并去除它们。
3. 将规则图案的边缘像素识别为局部缺陷：有些情况下，图像中的规则图案的边缘像素可能被错误地识别为局部缺陷。

        图1中展示了一个例子，其中包括一个模板图像和一个测试图像，测试图像中包含一个非常细微的划痕（仅1像素宽）。尽管这两个图像经过了精确的对齐，但由于图像的量化和随机性，它们之间仍存在偏差。图1中的(a)显示了 PCB 表面的模板图像，(b)显示了测试图像【包含一个非常薄的划痕(1像素宽)，相对于模板，它在 x 轴和 y 轴分别移动了 6 个像素和 5 个像素。然后使用图像左上角的“十字”作为基准标记来精确对齐测试图像。】，(c)显示了对齐的测试图像，(d)显示了图像差结果，即亮度与幅值成正比。这个划痕很难与常规图案的边缘像素区分开来，因此需要后处理来解决这个问题。此外，NCC（归一化互相关）也在这个示例中应用，但由于NCC对图像平移非常敏感，所以不能有效地区分划痕和边缘像素。总之，在电子表面缺陷检测中，即使图像经过精确对齐，仍然需要后处理来解决微小偏差和边缘像素的问题。

图1所示。空间域图像减法缺陷检测。(a) 模板图像。(b) 包含薄划痕的测试图像。(c) 对齐测试图像。(d) 结果差分图像。

        在本文中，我们提出了一种用于检测非周期性模式图像中局部缺陷的新方法，特别适用于印刷电路板（PCB）和集成电路（IC）模具等领域的微小缺陷检测。传统的傅里叶变换（F.T.）主要用于描述周期性信号的全局表示，因此通常不适用于非周期性模式图像的缺陷检测。而在本文中提出的方法，基于整个图像的傅里叶光谱，通过比较模板图像和测试图像的傅里叶光谱，找到了测试图像中的可疑频率分量，然后使用傅里叶反变换（I.F.T.）将这些频率分量还原成图像，从而恢复局部异常并去除公共背景模式，使表面变得均匀。这个方法的优势在于对平移和照明变化不敏感，因此可以检测到非常细微的缺陷，宽度仅为1像素。最后，通过使用简单的统计控制极限作为自适应阈值，来分割局部缺陷，完成缺陷的检测和定位。
该方法的优点和整个文章的结构：

1. 该方法能够检测到非周期性图案表面上微小的缺陷，这是它的第一个优点。它可以发现那些在图像的局部空间中引起频率变化的缺陷，即使它们非常微小也能检测出来。

2. 该方法对位移和光照变化不敏感，这使得它在制造应用中具有鲁棒性。无论图像是否发生平移或照明条件发生变化，该方法都能有效地检测到缺陷。

3. 该方法只需要一个单一的无缺陷模板进行比较，而不需要繁琐的训练过程。

文章的结构按照以下方式组织：第二节回顾了先前关于自动目视检查（AVI）和基于光谱的缺陷检测方法的相关研究。第三节详细介绍了基于模板的傅里叶图像重建方法，用于缺陷检测。第四节分析了在不同PCB和IC测试样本上进行的实验结果，并讨论了参数设置和图像分区对方法的影响。最后，第五节是文章的结尾。        

 3 Related Work

        主要集中在基于傅里叶变换（F.T.）并应用于PCB/IC缺陷检测用于电子产品检查的模板匹配方法和基于光谱的缺陷检测方法。以下是其要点：

1. PCB缺陷检测的相关工作： Hani等人进行了PCB缺陷检测的回顾研究，关注了在性能检查方面的不同方面，如分割算法、特征提取和分类器类型。他们的研究主要关注了如何提高检测性能。

2. 模板匹配方法： 通常，这些方法首先应用图像对齐来配准模板和测试图像之间的位置。然后，它们使用不同的度量方式来比较模板和测试图像之间的相似性。例如SAD（和平均绝对差）、MSE（均方误差）、NCC（归一化互相关）和相位相关，这些度量方法主要用于区域级别的配准。

3. 基于特征的匹配： 不仅考虑图像的整体信息，还关注图像中的关键特征点或描述符。这些特征可以是傅里叶描述符、Hausdorff距离或尺度不变特征变换（SIFT）。这些方法更适合对象级别的匹配，而不仅仅是区域级别。

4. 图像减法方法： Leta等人使用了简单的图像减法来处理裸PCB上的局部缺陷，Kagi等人则利用相位相关来对齐裸PCB，之后应用图像减法来识别缺陷。这些方法都涉及图像对齐和减法操作。

5. NCC方法： 谢等人应用了归一化互相关（NCC）来对齐测试图像，然后使用简单的减法来检查PCB上的芯片组件。Wang等人提出了一种部分信息NCC来检测IC缺陷，其中仅在局部窗口中使用显著点来计算NCC，以减少误报。

6. SIFT匹配点方法： Loch等人和Szymanski与Stemmer评估了SIFT匹配点的使用，以检查PCB上的可见装配故障。SIFT匹配点是图像中的关键特征点，可用于图像对齐和匹配。

7. 傅里叶变换方法： 傅里叶变换（F.T.）被认为是一种稳健的全局方法，用于表示图像中的周期性特征。它可用作检测普通纹理表面和周期性纹理表面的缺陷的有效替代方法。基于傅里叶的方法通常包括谱域特征提取，或使用傅里叶逆变换去除背景模式。Ngan等人对傅里叶变换在纺织织物缺陷检测方法中的应用进行了综述。

8. Chan 和 Pang [27]：他们使用傅里叶变换从中心空间频率谱中提取具有代表性的特征，并将这些特征用于重复纹理织物缺陷检测。

9. Chiu等人[28]：他们采用了傅里叶域最大似然估计器作为纹理度量，用于分割常规纺织织物中的局部缺陷。

10. Aiger 和 Talbot [29]：他们提出了一种仅相位傅里叶变换方法，用于检测重复结构纹理表面的局部缺陷。他们的变换包括了离散傅里叶变换，对傅里叶幅度进行归一化，然后使用逆傅里叶变换，最终生成一个类似边缘的图像，从图像中去除了规则性。

11. 在文献[30]和[31]中，提出了一种傅立叶图像重建方法，用于检测结构纹理和统计纹理中的局部缺陷。这个方法的核心思想是将表示周期性背景模式的频率分量设置为0，然后应用傅立叶图像重建到检查图像上。这个过程去除了所有周期性的结构模式，只保留了局部缺陷。然而，这种傅立叶图像重建方法只适用于呈现均匀重复模式的纹理表面。

12. 小波变换作为一种用于均匀纹理表面缺陷检测的流行光谱域方法括：
    Chen等人[32]也应用了[30]和[31]中提出的傅立叶图像重建方法，但这次是用于去除均匀磨削纹理，用于陶瓷加工表面的断裂和裂纹检测。

13. Ghazvini等人[33]使用小波变换来处理均匀纹理表面，例如瓷砖上的随机纹理。他们从分解的细节子图像中提取统计特征，并利用感知器神经网络来检测缺陷。

14. Tsai和Hsiao [34] 使用小波重建方法来检测均匀纹理表面的局部缺陷，例如加工表面的结构纹理或铸造表面的随机纹理。他们选择合适的子图像（平滑或详细）并使用反向小波变换去除均匀纹理背景，以突出局部异常。

15. Ngan等人[35]提出了一种基于小波的周期性纹理织物缺陷检测方法。他们对检查图像进行小波变换分解，然后在第四级详细子图像上应用阈值来分割缺陷。

16. Li等人[36]使用小波变换进行缺陷检测，但针对的是不包含纹理模式的铸造表面。他们将二值阈值应用于二次分解的光滑子图像，以识别非纹理铸造表面上的局部缺陷。

        目前可用的基于模板的相似性度量方法对于平移和照明变化非常敏感，并且只能检测到较大尺寸的缺陷。基于傅里叶的特征提取和图像重建技术适用于均匀纹理或周期性图案表面的局部缺陷检测，但不能处理非周期性图案表面。基于小波的方法主要集中在均匀纹理表面的缺陷检测，但对于需要模板比较的检查表面，小波表示不具备平移不变性。本文提出了一种基于模板的傅里叶图像重建方法，旨在解决非周期模式图像中的细微缺陷检测问题，特别关注 PCB 和 IC 模具检测。这种方法能够应对均匀纹理、周期性图案和非周期性图案表面缺陷的检测需求，适用于电子工业中大多数材料和产品的检测。

4 PROPOSED METHOD

        2-D F.T.是用于处理二维图像谱域的全局表示方法，具有以下特点：

• 对噪声不敏感：它能够有效应对图像中的噪声，提高了缺陷检测的准确性。
• 平移不变性：2-D F.T.具有平移不变性，即图像的平移不会影响其傅里叶变换结果，这在自动缺陷检测中非常有用。

        传统基于傅里叶的方法已成功应用于纹理和重复纹理表面的缺陷检测，这些方法在特定情况下表现出色。然而，传统方法的局限性在于它们无法扩展到检测非周期模式表面的小局部缺陷。这种类型的缺陷通常不适合传统方法，因为它们需要使用模板图像进行比较，而非周期模式表面通常不具备明显的重复结构。
        图像的离散二维傅里叶变换（2-D F.T.）以及它的数学表示：f(x, y)是一个大小为M × N的矩阵，其中(x, y)表示图像中的像素坐标，而f(x, y)表示该坐标处的灰度级。图像f(x, y)的离散2-D F.T.表示为F(u, v)，数学表示如下所示：

频率变量u的取值范围是从0到M-1，而频率变量v的取值范围是从0到N-1.
其中，F(u, v)是频域中的复数值，j是虚数单位，M和N分别是图像的宽度和高度。

为了直观地显示功率谱作为强度图像。具体来说：

1. 功率谱的中心化：为了显示功率谱作为强度图像，首先将功率谱的中心移到图像的中心，即在频率域中将其定位到(M/2, N/2)处。这可以通过对F(u, v)进行平移操作来实现。

2. 大小归一化：功率谱中的强度值通常具有广泛的范围，为了更好地可视化，对功率谱的大小进行了归一化处理。通常采用log[1 + |F(u, v)|]的形式，其中|F(u, v)|表示频率分量的幅度。这种归一化可以使功率谱更容易观察，尤其是对于低强度的频率分量。

3. 共轭对称性：由于实函数f(x, y)在空间域是共轭对称的，傅里叶变换F(u, v)在频谱图像中也具有中心对称性。这意味着频谱图像的中心点位于(M/2, N/2)，并且与其它部分对称。

4. 平移不变性：实函数f(x, y)中的平移操作不会影响频谱幅度的变化。这意味着在频谱图像中，频率分量的位置对平移操作不敏感。

5. 旋转不变性：实函数f(x, y)的旋转不会改变其傅里叶变换F(u, v)的角度。因此，在频谱图像中，频率分量的角度在空间域图像中的方向θ中具有相同的旋转不变性。

        傅里叶变换（F.T.）通过以下式子将频率域的复数表示F(u, v)转换回空间域的图像ˆf(x, y)：

图2中的谱域谱减法缺陷检测方法。
(a1) 模板图像。(b1)无缺陷测试图像。(c1) 带有划痕缺陷的测试图像。
(a2)、(b2) 和 (c2) 显示了相应的功率谱，即它们的频谱图像。
(b3) 和 (c3) 显示了具有低 ΔP(u, v) 阈值的傅里叶重建图像。
(b4) 和 (c4) 显示了具有高 ΔP(u, v) 阈值的傅里叶重建图像。

        在包含周期性纹理的材料或产品表面上，找到代表全局重复模式的频率分量。这些频率分量通常较容易确定，并且在频谱中可以将它们设置为 0。接下来的步骤是使用傅里叶逆变换。

        由于 F。T.是一个全局光谱表示，它缺乏谱域中的局部信息。这是极其的难以识别与非周期模式表面局部空间异常相关的F(u, v)中的频率分量。识别与局部空间缺陷相关的频率分量的直观方法是执行无缺陷模板与测试图像之间的功率谱差异。也就是说，

其中 PT (u, v) 和 PI (u, v) 分别是模板 T 和测试的功率谱。然后，如果 lipP(u, v) 大于可能缺陷的某个阈值，我们可以保留相应的 FI (u, v)。否则，我们为背景模式设置 FI (u, v) = 0。预计从 I 中恢复的图像。F.T.可以删除在 f T (x, y) 和 f I (x, y) 中显示的常见模式，并且只呈现局部异常。图2(a1)显示了与图1(a1)相同的模板PCB图像。图2(b1)和(c1)分别给出了无缺陷图像和缺陷测试图像。两个测试图像相对于模板被 (−3, 3) 移动。图2(a2) - (c2)显示了相应的功率谱PT (u, v)和PI (u, v)。图2(c1)中的缺陷测试图像包含划痕缺陷，图2(c2)中对应的功率谱确实显示了沿与划痕方向正交的直线的可见频率分量。与模板PT (u, v)和测试PI (u, v)中常见的PCB模式相关的频率分量在视觉上是相同的。我。F.T.图2(b3)和(b4)和(c3)和(c3)和(c4)对无缺陷和缺陷测试样本的小阈值和大阈值的结果。常见的PCB模式可以大致平滑，但薄划痕不能与重建图像中的引线分离。

图3所示。功率谱剖面分析。(a)模板和无缺陷样本的频谱分布。(b) 模板的光谱剖面和 82° 的划痕样品。(c) y 轴上 (b) 的放大分布。
        结果表明，沿给定方向 θ 的功率谱轮廓与谱域图像中的中心对称。与主峰的距离到频谱轮廓的中心给出了空间模式在θ正交方向上的主导频率。它表示给定图像宽度的振荡次数，频率的倒数表示空间域图像中某些结构模式的主要波长(即间距)。因此，如果模板和测试图像都存在相互模式，则每个可能方向的功率谱剖面中局部峰的位置应该完全相同。局部缺陷会破坏模板和测试图像功率谱剖面中局部峰值位置的一致性。
        图2中演示的图像再次用于分析无缺陷测试图像和缺陷测试图像的频谱分布。测试图像偏移 (푡x, 푡y) = (−3, 3)，并且没有应用图像对齐。图2(c1)中PCB图像中的线形划痕给出了172°的方向，其对应的光谱剖面为82°。因此，我们提出了82°的功率剖面来分析傅立叶光谱中无缺陷和缺陷样品。图3(a)描述了模板的82°功率剖面[图2(a2)]和无缺陷测试样本[图2(b2)]，其中x轴是频率点到中心的距离，y轴是功率大小。因为配置文件相对于中心是对称的，所以只显示一半的完整配置文件。可以看出，无缺陷图像的功率分布与模板的功率分布几乎相同。功率剖面中局部峰的大部分位置都是重合的，只有少数不同意的峰值位置呈现出较低的功率量级差异。
        图3(b)给出了模板的82°功率剖面[图2(a2)]和划痕PCB图像[图2(c2)]。模板和缺陷图像之间的功率分布有很大的不同。图3(c)进一步放大了图3(b)中功率剖面的y轴。结果表明，模板轮廓的主要局部峰的位置与测试图像的位置相同，但缺陷样品的所有其他局部峰都呈现出与模板轮廓不同的位置。非巧合位置的局部峰值的功率大小差异非常大。
        基于上述功率剖面分析，我们提出以下选择标准来保留与局部缺陷相对应的可疑频率分量，并删除与测试样本光谱域图像中的正常背景模式相关的那些频率分量。设 ^PT (r, θ ) 和 ^PI (r, θ ) 分别是模板的功率谱和大小为 M × N 的测试图像，其中 (r, θ ) 是 (u, v) 的极坐标，极性中心在 (M/2, N/2) 处。使用表格查找技术可以预先确定从笛卡尔坐标到极坐标的转换。然后，我们可以使用 (u, v) 作为查找表的索引，在线将 PI (u, v) 转换为 ^PI (r, θ )。要保留的频率分量用于 I。F.T.必须充分满足以下三个规则，对于每个方向 θ。

 常数 C 是一个控制参数。C值越大，以减小缺陷大小为代价去除噪声和模式残差。
对于满足三个选择规则的频率分量 (u, v)，我们分配 FI (u, v) = F^I (u, v)，其中 ^I =argMax{PT (u, v)， PI (u, v)}。否则，我们设置FI (u, v) = 0。然后使用I将重新分配的FI (u, v)转换回空间域图像。F.T.对于测试图像，它可能包含过多的对象部分，或者显示对象部分相对于模板的缺失。因此，如果 (u, v) 满足上述三个选择规则，则从模板或测试图像到 FI (u, v) 的功率谱的最大幅度分配给 FI (u, v)。深色缺陷可以在明亮的背景中，反之亦然。I 中的绝对值。F.T.因此，在 (6) 中，用于显示。设ˆf I (x, y)为重建图像，去除正常背景模式，只恢复局部缺陷。
        最后使用简单的统计过程控制原理设置阈值，从重建图像中的普通背景中分割局部缺陷。阈值自适应地由下式给出

其中 μ ^f I 和 σ ^f I 是重建图像 ^f I (x, y) 中灰度级的均值和标准差。由于局部缺陷的大小相对于整个背景区域相对较小，本文使用了 3-sigma 控制常数（即 K = 3）。它可以干净地去除随机噪声和背景残差，同时有效地分割阈值图像中的局部异常。

5 EXPERIMENTAL

        在本节中，我们展示了PCB和IC模具缺陷检测的实验结果，其中包括各种非周期性模式和各种小的局部缺陷。用于设置二进制分割阈值的控制常数 K 由实验中所有测试样本的 3 给出。在我们的实现中，所有算法都在 C++language 和 F 中编码。T.和我。F.T.使用FFTW[37]库实现。该算法在具有 Intel Xeon E3-1231、3.40-GHz 处理器的个人计算机上执行。

5.1 C参数值变化的影响

        (8) 中的第三个选择规则要求 C 保留与局部缺陷相关的频率分量。通过将图1(a)中的PCB图像作为模板，图4和图5显示了两个额外的PCB图像进行测试。图4(a)包含1像素宽划痕缺陷，图5(a)显示了一个圆形垫缺陷(用红色方块标记)，它只比模板图像中的对应缺陷宽1像素(即半径差仅为1像素)。图4(b)和图5(b)给出了线形划痕和斑点状焊盘缺陷图像对应的功率谱。我们用 C = 1.5、2 和 2.5 评估检测结果。图 4(c1)-(c3) 和 5(c1)-(c3) 显示了白色保留的频率分量和黑色删除的频率分量。随着 C 参数值的增加，更多的频率分量被删除。图4(d1) - (d3)和5(d1) - (d3)分别存在重建图像，其中主要正常PCB模式明显显示为普通背景，局部缺陷的细微变化显著保留。C = 1.5的小值给出了具有更多随机噪声或残差的缺陷更完整的像素点。C = 2.5的大值在图案背景中产生的噪声较少，缺陷点有所降低。图4(e1) - (e3)和5(e1) - (e3)为阈值μˆf I−3σˆf I的二值分割结果。C的参数值对相互模式区域没有影响。所有 C 值都会导致无缺陷区域的平面。实验结果表明 C 对检测性能不太敏感，C = 2 给出了最好的整体性能。在随后的测试和实验中，功率比参数 C 固定为 2。

图4所示。C的不同值的影响。(a) 划痕缺陷图像（1 像素宽）。(b) 功率谱。(c1)-(c3) 保留 C = 1.5、2 和 2.5 的频率分量。(d1)-(d3)对应的重建图像。(e1)-(e3)阈值μˆf−3σˆf对应的分割图像。 

5.2 环境变化的影响

        我们进一步评估了环境变化（包括平移、旋转和照明）对检测性能的影响。我们还将图1(a)中的PCB图像作为模板。图6(a1) - (c1)分别给出了三种翻译测试PCB图像(푡x, 푡y) = (−3,3)， (−6,5)和(−7,7)。没有对测试PCB应用图像对齐。图6(a2) - (c2)描述了相应的重建图像，并表明即使在显著的平移下，也可以可靠地检测到薄划痕缺陷。
        图7(a1) - (c1)进一步显示了三种具有不同平移(푡x, ǡy)和旋转ǡθ°组合的测试PCB图像，其中(a1)， (b1)的(−1,−6,7°)和(c1)的(0,−4,8°) = (−1,1, 4°)。由于数字图像的量化有限，通过将测试样本的功率谱旋转在频谱域中是不可靠的。相反，原始测试图像与空间域中的模板图像对齐。我们使用归一化相关工具将PCB中的十字线作为基准来对齐测试图像。然后将所提出的傅立叶过程应用于对齐的测试图像。图7(a2) - (c2)给出了三个旋转测试图像的重建图像。即使在测试图像中成功检测到划痕，即使它们的原始输入版本同时包含平移和方向变化。

图5所示。C值变化的影响。(a)圆形板缺陷图像(半径为1像素)。(b) 功率谱。(c1)-(c3) 保留频率分量（以白色显示），C = 1.5、2 和 2.5。(d1)-(d3)对应的重建图像。(e1)-(e3)阈值μˆf−3σˆf对应的分割图像。

 图6所示。翻译的效果(没有对齐)。(a1)-(c1) 测试图像，分别移位 (푡x, 푡y) = (−3, 3), (-6, 5) 和 (-7, 7)。(a2) - (c2)对应的重建图像。

        为了评估光照变化的影响，图8(a)-(c)分别显示了正常光照条件下的模板PCB图像、过度曝光图像和曝光不足的图像进行测试。图 8(d) 和 (e) 中的重建图像表明所提出的傅里叶方法即使光照发生显着变化，仍然可以可靠地检测到细微的薄划痕。

 图7所示。平移和旋转的影响(对齐)。(a1)–(c1) 测试图像，其中 (푡x, 휃y, ǡθ °) = (−1, 1, 4°), (-1, -6, 7°) 和 (0, -4, 8°)。(a2) - (c2)对应的重建图像。

图8所示。光照变化的影响。(a) 正常照明下的模板。(b) 过度曝光的测试图像。(c) 曝光不足的测试图像。(d) 和 (e) 分别重建 (b) 和 (c) 的图像。

5.3 图像分区和计算时间

        图9(a1)显示了组装PCB的模板，图9(b1)显示了涉及缺失IC铅(用图像中的正方形标记)的测试图像。相应的功率谱如图9(a2)和(b2)所示。可以看出，两个功率谱几乎相同。
        主要频率分量在光谱中垂直和水平分布。PCB 图像包含许多重复的小 IC 导致组装板。所提出的选择标准不能有效地保留与高度规则模式背景的微小缺失铅相关的频率分量。图 9(c) 显示了频谱中保留的频率分量，图 9(d) 中的恢复图像显示没有检测到异常区域。
        为了克服这个问题，我们提出了一个高度的非周期模式的图像划分过程重复组件。图像分区是将大小为M × N的原始输入图像划分为许多大小为m × n的较小子图像，其中m < M和n < N。然后将所提出的傅立叶过程应用于每个单独的分区子图像。子图像减少了原始图像中小分量的重复。图 10(a1) 和 (b1) 分别描绘了图 9(a1) 和 (b1) 所示的相同组装 PCB 图像的九个分区子图像。图10(a2)和(b2)进一步给出了图10(a1)和(b1)中分区子图像对应的功率谱。9个测试子图像的重建图像和阈值结果如图10(c)和(d)所示，所有测试子图像都有固定的参数值C = 2和K = 3。现在可以成功地检测出中前子图像中缺失的IC导率。

图9所示。组装具有高重复产品组件的PCB。(a1) 模板。(b1) 缺少 IC 铅的测试图像。(a2) 和 (b2) 各自的功率谱。(c) 保留频率分量（以白色显示）。(d) 重建图像。

 图10所示。分区图像中的缺陷检测。(a1) 和 (b1) 模板和测试图像被划分为九个子图像。(a2) 和 (b2) 各自的功率谱。(c) 重建的子图像。(d) 阈值结果。

 图11(a)进一步展示了无缺陷的IC衬底图像，图11(b)显示了涉及a的测试图像

图11所示。IC衬底中的图像划分。(a) 模板。(b) 测试图像划分为四个子图像。(c) 重建的子图像。(d) 阈值结果。缺少通孔(用正方形标记)。模板中的圆形通孔非常小，几乎看不到。凭借其原始图像，由于电路高度重复，所提出的傅立叶重建过程无法检测到细微的缺陷。衬底图像被划分为四个大小相等的子图像。将C = 2的傅里叶重构过程应用于单个子图像，恢复后的子图像如图11(c)所示。K = 3对应的阈值结果如图11(d)所示。在左上角的子图像中可以成功地检测到微小的缺失通孔，并且在分割结果中所有其他三个正常子图像都是均匀白色的。

图12所示。分区子图像的计算时间

        快速 F 的计算复杂度。T.对于 M × Nimage 由 M · N · log(M · N) 给出。当分区子图像的大小为 m×n 时，总计算负载减少到 M/m · N/n · (m · n · log m · n) = M · N · log(m · n)。给定一个大小为 301 ×301 像素的原始图像，不同子图像大小的计算时间从 301 × 301（一个子图像，即原始图像大小）、151 × 151（四个子图像）、101 × 101（九个子图像）和 75 × 75（16 个子图像）绘制在图 12 中，总结在表 I 中。在图12中，实线表示单个子图像的计算时间(以秒为单位)，大小减小。表 I 显示计算时间可以从一个 301×301 子图像的 0.058 s 显着降低到一个 75×75 子图像的 0.002 s。图 12 中的虚线给出了具有不同分区子图像大小的 301 × 301 输入图像的整体计算时间。对于16个子图像，一个完整图像的总计算时间可以从0.058 s减少到0.038 s。实验结果表明，图像划分不仅提高了细微缺陷的检测，而且提高了计算效率。如果测试图像包含高度重复的模式，则只需要测试图像划分为小子图像。在检查过程之前，给定产品样本的分区大小可以在制造环境中离线预定。

5.4. Test on Various Electronic Pattern Surfaces

        在本实验中，我们测试了所提出的方法在更多电子产品表面的小缺陷检测中的有效性。检测结果均基于参数设置 C = 2 和 K = 3。图 13 显示了对包含薄、短划痕的电路基板的检查，其中图 13(a1) 显示了模板，图 13(a2) 显示了测试图像，图 13(a3) 显示了重建图像，图 13(a4) 显示了分割结果。
        图 13(b1)-(b4) 显示了呈现开路路径的 PCB 板。图 13(c1)-(c4) 显示了组装的 PCB，其中两个电路线被错误连接并创建短路缺陷。图 13(d1)-(d4) 显示了 PCB 表面上的缺失方形打印。图 13(e1)-(e4) 显示了组装的 PCB 与板上缺失的电容器组件。检测结果呈现为二值图像，以显示分割缺陷。分别为图 13(a2)-(e2) 中测试样本的图 13(a4)-(e4) 所示。在各种复杂的图案表面成功地检测到各种类型的小缺陷。
        我们还进行了一项额外的实验，评估了从PCB和IC衬底样品收集的40张无缺陷和55张缺陷测试图像，具有不同的图案布局和电路设计。缺陷是线形的，如划痕和开/短路线和斑点状，如颗粒、拉伸/拉伸以及部件部件的不存在/位移。参数值固定为 C = 2 和 K = 3。执行一个简单的形态学操作作为后处理来去除随机噪声点。用于最终分类的阈值（无缺陷与缺陷）是基于二值分割图像中检测到的缺陷大小(以像素为单位)。该方法能够正确识别所有无缺陷和有缺陷的测试样本。使用适当的阈值设置，在没有误报的情况下实现了 100% 的识别率。它可以检测长度为5像素的薄(1像素宽)线形缺陷，斑点形缺陷尺寸小于9像素。

图13所示。各种电子电路图像中的缺陷检测。(a1)-(e1) 模板。(a2) - (e2)测试缺陷图像，包含划痕、开路电压、缺失打印和缺失电容组件。(a3)-(e3)重建图像。(a4)-(e4) 阈值结果。
 

6 CONCLUSION

        在本文中，我们提出了一种傅立叶图像重建方案来检测非周期图案表面的细微缺陷。小缺陷可以线形，宽度小于1像素，斑点形在物体轮廓上只有1像素的变化。该方法可以有效地从傅立叶谱的全局表示中识别与局部空间缺陷相关的频率分量。它对翻译是不变的。这使得所提出的方法对于制造环境中的自动缺陷检测是可行的，其中不可能完美对齐，并且随机乘积变化是不可避免的。旋转问题可以通过对齐空间域中的测试图像来克服，所提出的方法仍然可以可靠地工作在对齐图像上。该方法对光照变化不敏感。它为制造环境中的缺陷检测提供了额外的优势。对于非常大的图像或包含高度重复组件的图像，图像分区可用于提高检测效率和计算效率。
        本文提出的方法完成了在制造业中发现的各种材料/产品表面缺陷检测的傅里叶图像重建技术，包括普通表面、均匀结构/统计纹理、周期性图案表面，最后是非周期性图案表面。该方法以当前形式直接应用于笛卡尔坐标。通过应用极坐标 F 值得进一步研究。用于傅里叶图像重建的Ts。然后，可以消除旋转测试图像空间域中的图像对齐过程。

7 Python

傅里叶变换、频域分析和逆变换。
以下是一个简化的Python示例，演示了如何使用傅里叶变换来检测和定位非周期性模式图像中的小缺陷。

"""
Time:2023/9/19 21:27
Author:ECCUSYB
"""
import cv2
import numpy as np


def detect_defects(template_image, test_image):
    # 进行傅里叶变换
    template_fft = np.fft.fft2(template_image)
    test_fft = np.fft.fft2(test_image)

    # 计算频谱差异
    spectrum_diff = np.abs(template_fft) - np.abs(test_fft)

    # 进行傅里叶逆变换
    reconstructed_image = np.fft.ifft2(spectrum_diff)

    # 恢复局部异常并移除通常模式
    result_image = np.real(reconstructed_image)

    return result_image


# 读取模板图像和测试图像（示例，需要替换为实际图像）
template_image = cv2.imread('images/good.png', cv2.IMREAD_GRAYSCALE)
test_image = cv2.imread('images/bad.png', cv2.IMREAD_GRAYSCALE)

# 调用检测函数
result = detect_defects(template_image, test_image)

# 显示结果图像
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

8 Other

非周期性模式图像：图像中没有明显重复、周期性或规则的纹理或模式的图像。在这种类型的图像中，各个区域的特征、纹理或结构通常是不规则的，难以用简单的周期性模型或规则的重复单元来描述。举例来说，一张照片中的人脸、山脉、云彩、自然景观等通常被认为是非周期性模式图像，因为它们的外观和结构在整个图像中通常没有明显的重复和规则性。相比之下，一张瓷砖地板或围墙上的花纹图案通常是周期性模式图像，因为它们具有明显的规则重复性。非周期性模式图像可能具有更高的复杂性，因为它们的内容和结构多样化，不容易用传统的模式匹配或周期性分析方法来处理。因此，对于检测和分析非周期性模式图像中的特征和缺陷，需要使用更复杂的图像处理和计算方法。

傅里叶变换（Fourier Transform）是一种数学工具和变换技术，用于将一个函数（或信号）从时间域（或空间域）转换为频率域。傅里叶变换的基本思想是将一个复杂的函数表示为许多简单正弦和余弦函数的加权组合。这些正弦和余弦函数被称为基本频率分量或正弦波，它们具有不同的频率、振幅和相位。通过傅里叶变换，我们可以将一个信号分解成这些频率分量，从而更好地理解信号的频谱特性。