Halcon 第五章『模板匹配Matching』◆第4节：基于形状的模板匹配|Shape-Based

        一、介绍

        基于形状的模板匹配，也称为基于边缘方向梯度的匹配，是一种最常用也最前沿的模板匹配算法。该算法以物体边缘的梯度相关性作为匹配标准，原理是提取ROI中的边缘特征，结合灰度信息创建模板，并根据模板的大小和清晰度的要求生成多层级的图像金字塔模型。接着在图像金字塔层中自上而下逐层搜索模板图像，直到搜索到最底层或者得到确定的匹配结果为止。

        该方法使用边缘特征定位物体，对于很多干扰因素不敏感，如光照和图像的灰度变化，甚至可以支持局部边缘缺失、杂乱场景、噪声、失焦和轻微形变的模型。它甚至可以支持多个模板同步进行搜索。但是在搜索过程中，如果目标图像发生大的旋转或缩放，则会影响搜索的结果，因此不适用于选择和缩放比较大的情况。

        二、步骤

        基于形状的匹配，就是使用目标对象的轮廓形状来描述模板。Halcon中有操作助手，可以直观地进行形状模板匹配的参数选择以及效果测试。步骤如下：

        ①从参考图像上选择检测的目标。使用适合的形状工具，如矩形选区等，从参考图像上选择ROI，然后使用reduce_domain算子将该区域裁剪成一个独立的图像区域。

        ②创建模板。在创建模板之前，建议使用inspect_shape_model算子列出模板图像的各层级的金字塔图像和根据模板图像自动提取出的形状。查看这些信息有助于为创建模板选择合适的参数。

        设置inspect_shape_model算子的最后两个参数NumLevels（金字塔层级）和Contrast（点的最小对比度）。该算子执行后将会把预设参数的金字塔分级图像显示出来，可以根据需要判断参数选区得是否合理。

Matching匹配 / Shape-Based外形匹配         创建一个轮廓匹配模型基于金字塔的图像。 inspect_shape_model(Image : ModelImages, ModelRegions : NumLevels, Contrast : )         Image：输入参数，输入图像。         ModelImages：输出参数，输出图像基于金字塔的影像。         ModelRegions：输出参数，输出模型区域。         NumLevels：输入参数，使用的金字塔层数。默认4，范围1~10。         Contrast：输入参数，设置对比度。默认30，参考10，20，30，40，60，80，100，120，140，160。

        在确定了金字塔层级和最小对比度之后，使用create_shape_model算子创建形状模板。创建模板时，除了NumLevel和Contrast两个参数已经明确外，AngleStep用于约束角度变化的步长。 

Matching匹配 / Shape-Based外形匹配         准备一个匹配轮廓模型（不可缩放比例） create_shape_model(Template : : NumLevels, AngleStart, AngleExtent, AngleStep, Optimization, Metric, Contrast, MinContrast : ModelID)         Template：输入参数，输入图像，用来产生模型的图像。         NumLevels：输入参数，最大的金字塔层数。默认'auto'，范围【0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 'auto'】。         AngleStart：输入参数，输入匹配时的起始角度。默认-0.39，建议值【 -3.14, -1.57, -0.79, -0.39, -0.20, 0.0】。         AngleExtent：输入参数，输入匹配时的角度范围。默认0.79，建议值【 6.29, 3.14, 1.57, 0.79, 0.39】，范围>= 0。         AngleStep：输入参数，输入匹配旋转角度的步长。默认'auto'，建议值【'auto', 0.0175, 0.0349, 0.0524, 0.0698, 0.0873】，范围AngleStep >= 0 && AngleStep <= pi / 16。         Optimization：输入参数，设置模板优化和模板创建方法。默认 'auto'，范围 【'auto', 'no_pregeneration', 'none'存储所有模型点, 'point_reduction_high', 'point_reduction_low', 'point_reduction_medium', 'pregeneration' 】。  如果模板图像特别大，可以用此参数进行优化，减少点的数量。对于小型模型，减少模型点的数量并不会导致搜索速度的加快，因为在这种情况下，通常需要检查模型的更多潜在实例。 如果Optimization设置为'auto'，则create_shape_model会自动决定减少模型点的数量。           Metric：输入参数，设置匹配方法。默认 'use_polarity'，范围 【 'ignore_color_polarity', 表示匹配过程忽略颜色对比度的变化，一般适用于多通道图像。如果不确定检测时会显示哪个通道的图像，可以选择此项。 'ignore_global_polarity', 适用于全局对比度发生变化的情况，表示忽略全局对比度的变化，即匹配过程中的图像对比度可以与模板中的完全相反。例如，模板中是一个暗背景上有一个亮的目标，那么在检索时，即使目标对象很亮而背景很暗，也能匹配成功。 'ignore_local_polarity', 表示忽略局部对比度的变化，如果图像因为光照改变等原因发生局部对比度变化，可以选择这一项。 'use_polarity'表示匹配得到的图像必须和模板图像的对比度“方向”相同。例如：模板中是一个暗背景上有一个亮的目标，那么在检索时，只有符合匹配条件并且亮度比背景亮的目标才能匹配成功。 】。         Contrast：输入参数，设置对比度，阈值灬滞后阈值为模板的图像对象的对比和可选的最小的对象零件尺寸。默认'auto'，【'auto', 'auto_contrast', 'auto_contrast_hyst', 'auto_min_size', 10, 20, 30, 40, 60, 80, 100, 120, 140, 160】。         MinContrast：输入参数，搜索图像中的对象的最小对比度。默认 'auto'，建议值【 'auto', 1, 2, 3, 5, 7, 10, 20, 30, 40】，范围MinContrast < Contrast。         ModelID：输出参数，输出模型句柄。

        ③搜索目标。创建好模板后，接下来读取待检测的图像。使用find_shape_model算子搜索最佳匹配区域，将检测图像和模板句柄ModelID输入该算子中，搜索到的目标对象的匹配分值会存入参数Score中。如果各项参数都设定得很合适，那么在图像中应该会找到至少一个大于最小匹配分值的区域。find_shape_model算子返回的结果，除了匹配分值，还有目标的坐标和旋转角度，可以对位置和旋转角度进行计算。

Matching匹配 / Shape-Based外形匹配         在图像中找到形状模型的最佳匹配。 find_shape_model(Image : : ModelID, AngleStart, AngleExtent, MinScore, NumMatches, MaxOverlap, SubPixel, NumLevels, Greediness : Row, Column, Angle, Score)         Image：输入参数，输入匹配模型的图像。         ModelID：输入参数，输入模型句柄。         AngleStart：输入参数，输入匹配时的起始角度。默认 -0.39，建议值【-3.14, -1.57, -0.79, -0.39, -0.20, 0.0】。         AngleExtent：输入参数，输入匹配时的角度范围。默认0.79，建议值【6.29, 3.14, 1.57, 0.79, 0.39, 0.0】，范围≥0。         MinScore：输入参数，输入最低的匹配分数（匹配质量），考虑到模板的一半被遮挡。默认0.5，范围0 ≤ MinScore ≤ 1。         NumMatches：输入参数，在图像上找到模板的最大个数。默认1，建议值【0, 1, 2, 3, 4, 5, 10, 20】。         MaxOverlap：输入参数，定义了找到的两个目标区域最多重叠的系数，如果=0，说明找到的目标区域不能存在重叠，如果=1，所有找到的目标区域都要返回。默认0.5，范围0 ≤ MaxOverlap ≤ 1。         SubPixel：输入参数，确定找到的目标是否使用亚像素精度提取。默认'least_squares'，范围 【 'none', （或false）模型的姿态仅由create_shape_model指定的像素精度和角度分辨率决定。  'interpolation', （或true）位置以及旋转将以亚像素精度确定。在这种模式下，模型的姿态是从评分函数中插值出来的。 这种模式几乎不需要花费任何计算时间，并且能够达到对大多数应用程序足够高的精度。 然而，在某些应用中，精度要求极高。 在这种情况下，模型的姿态可以通过最小二乘调整来确定，即最小化模型点到对应图像点的距离。 与“插值”相比，这种模式需要额外的计算时间。 'least_squares', 'least_squares_high', 'least_squares_very_high',最小二乘调整的不同模式可用于确定搜索最小距离的精度。 然而，选择的精度越高，亚像素提取所需的时间就越长。如果需要最小二乘调整，则应该选择“最小二乘”，因为这将在运行时和精度之间产生最佳权衡。   'max_deformation 1', 'max_deformation 2', 'max_deformation 3', 'max_deformation 4', 'max_deformation 5', 'max_deformation 6'在某些情况下，与模型相关的轻微变形的对象不能被发现，或者被发现的精度很低。 对于这样的对象，可以在参数SubPixel中额外传递一个最大允许的对象变形。 变形必须以像素为单位指定。 这可以通过传递可选参数值'max_deformation '，后跟一个介于0到32之间的整数值(在同一个字符串中)来实现，该整数值指定最大变形量。 】。         NumLevels：输入参数，搜索时使用的金字塔层数。默认0。范围0~10。         Greediness：输入参数，搜索时的“贪婪程度”。0—慢而安全；1—快而可能匹配失败。默认0.9，范围 0 ≤ Greediness ≤ 1。         Row：输出参数，输出目标外形轮廓的y值坐标（轮廓中心位置）。         Column：输出参数，输出目标外形轮廓的x值坐标（轮廓中心位置）。         Angle：输出参数，输出已发现的模型实例的旋转角度。         Score：输出参数，输出已找到的模型实例的评分。。

        为了直观地显示结果，可以在画面上依据计算结果绘图，dev_display_shape_matching_results算子绘制匹配结果。

Matching匹配 / Shape-Based外形匹配         显示形状匹配结果。 dev_display_shape_matching_results( : : ModelID, Color, Row, Column, Angle, ScaleR, ScaleC, Model : )         ModelID：输入参数，要显示结果的形状模型的ID。         Color：输入参数，输入匹配后的结果所用什么颜色显示。默认red。         Row：输入参数，输入匹配对应的y值坐标位置。         Column：输入参数，输入匹配对应的x值坐标位置。         Angle：输入参数，输入匹配对应的角度。         ScaleR：输入参数，输入水平方向的缩放比例。默认1.0。         ScaleC：输入参数，输入垂直方向的缩放比例。默认1.0。         Model：输入参数，输入模型句柄。

.        ④清除模板。匹配结束后，使用clear_shape_model算子将模板清楚，并释放内存资源。

*读取参考图像
read_image(Image, 'data/labelShape-0')
*根据要匹配的目标，围绕目标创建一个矩形，获取ROI区域
gen_rectangle1 (Rectangle, 34, 290, 268, 460)
*对ROI区域进行裁剪，得到模板图像
reduce_domain (Image, Rectangle, ImageReduced)
*测试金字塔的层级参数
inspect_shape_model (ImageReduced, ModelImages, ModelRegions, 4, 30)
*设置显示图像、绘制线条的线宽等窗口参数
dev_set_draw ('margin')
dev_set_line_width(3)
dev_display(Image)
dev_display(Rectangle)
*根据剪裁的模板图像创建基于形状的模板，返回模板句柄ShapeModelID
create_shape_model (ImageReduced, 5, rad(-10), rad(20), 'auto', 'none', 'use_polarity', 20, 10, ShapeModelID)
stop()
*读取用于测试的图像
read_image(SearchImage, 'data/labelShape-1')
*使用匹配算子进行形状模板匹配
find_shape_model (SearchImage, ShapeModelID, 0, rad(360), 0.5, 3, 0, 'least_squares', 0, 0.5, 	RowCheck, ColumnCheck, AngleCheck, Score)
*显示匹配结果，将匹配得到的实例以形状轮廓的形式绘制出来
dev_display_shape_matching_results (ShapeModelID, 'red', RowCheck, ColumnCheck, AngleCheck, 1, 1, 0)
*匹配结束，释放模板资源
clear_shape_model (ShapeModelID)

labelShape-0 ModelImages ModelRegions labelShape-1

dev_display_shape_matching_results (ShapeModelID, 'red', RowCheck, ColumnCheck, AngleCheck, 1, 1, 0)

 备注：rad()是角度转为弧度的意思。deg()是弧度转为角度。相关的算子是tuple_rad和tuple_deg。