HALCON模板匹配

基于HALCON的模板匹配方法总结

 

        很早就想总结一下前段时间学习HALCON的心得，但由于其他的事情总是抽不出时间。去年有过一段时间的集中学习，做了许多的练习和实验，并对基于HDevelop的形状匹配算法的参数优化进行了研究，写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章，总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配，又如何来协调这些参数来加快匹配过程，提高匹配的精度，这篇paper放到了中国论文在线了，需要可以去下载。

德国MVTec公司开发的HALCON机器视觉开发软件，提供了许多的功能，在这里我主要学习和研究了其中的形状匹配的算法和流程。HDevelop开发环境中提供的匹配的方法主要有三种，即Component-Based、Gray-Value-Based、Shape-Based,分 别是基于组件（或成分、元素）的匹配，基于灰度值的匹配和基于形状的匹配。这三种匹配的方法各具特点，分别适用于不同的图像特征，但都有创建模板和寻找模 板的相同过程。这三种方法里面，我主要就第三种－基于形状的匹配，做了许多的实验，因此也做了基于形状匹配的物体识别，基于形状匹配的视频对象分割和基于 形状匹配的视频对象跟踪这些研究，从中取得较好的效果，简化了用其他工具，比如VC++来开发的过程。在VC下往往针对不同的图像格式，就会弄的很头疼，更不用说编写图像特征提取、模板建立和搜寻模板的代码呢，我想其中间过程会很复杂，效果也不一定会显著。下面我就具体地谈谈基于HALCON的形状匹配算法的研究和心得总结。

1.       Shape-Based matching的基本流程

HALCON提 供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人 体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示：

⑴ 首先确定出ROI的矩形区域，这里只需要确定矩形的左上点和右下点的坐标即可，gen_rectangle1()这个函数就会帮助你生成一个矩形，利用area_center()找到这个矩形的中心；

⑵ 然后需要从图像中获取这个矩形区域的图像，reduce_domain()会得到这个ROI；这之后就可以对这个矩形建立模板，而在建立模板之前，可以先对这个区域进行一些处理，方便以后的建模，比如阈值分割，数学形态学的一些处理等等；

⑶ 接下来就可以利用create_shape_model()来创建模板了，这个函数有许多参数，其中金字塔的级数由Numlevels指定，值越大则找到物体的时间越少，AngleStart和AngleExtent决定可能的旋转范围，AngleStep指定角度范围搜索的步长；这里需要提醒的是，在任何情况下，模板应适合主内存，搜索时间会缩短。对特别大的模板，用Optimization来减少模板点的数量是很有用的；MinConstrast将模板从图像的噪声中分离出来，如果灰度值的波动范围是10，则MinConstrast应当设为10；Metric参数决定模板识别的条件，如果设为’use_polarity’，则图像中的物体和模板必须有相同的对比度；创建好模板后，这时还需要监视模板，用inspect_shape_model()来完成，它检查参数的适用性，还能帮助找到合适的参数；另外，还需要获得这个模板的轮廓，用于后面的匹配，get_shape_model_contours()则会很容易的帮我们找到模板的轮廓；

⑷ 创建好模板后，就可以打开另一幅图像，来进行模板匹配了。这个过程也就是在新图像中寻找与模板匹配的图像部分，这部分的工作就由函数find_shape_model()来承担了，它也拥有许多的参数，这些参数都影响着寻找模板的速度和精度。这个的功能就是在一幅图中找出最佳匹配的模板，返回一个模板实例的长、宽和旋转角度。其中参数SubPixel决定是否精确到亚像素级，设为’interpolation’，则会精确到，这个模式不会占用太多时间，若需要更精确，则可设为’least_square’,’lease_square_high’，但这样会增加额外的时间，因此，这需要在时间和精度上作个折中，需要和实际联系起来。比较重要的两个参数是MinSocre和Greediness，前一个用来分析模板的旋转对称和它们之间的相似度，值越大，则越相似，后一个是搜索贪婪度，这个值在很大程度上影响着搜索速度，若为0，则为启发式搜索，很耗时，若为1，则为不安全搜索，但最快。在大多数情况下，在能够匹配的情况下，尽可能的增大其值。

⑸ 找到之后，还需要对其进行转化，使之能够显示，这两个函数vector_angle_to_rigid()和affine_trans_contour_xld()在这里就起这个作用。前一个是从一个点和角度计算一个刚体仿射变换，这个函数从匹配函数的结果中对构造一个刚体仿射变换很有用，把参考图像变为当前图像。
其详细的流程图和中间参数，如下图所示：（无法上传）

2.       基于形状匹配的参数关系与优化

     在HALCON的说明资料里讲到了这些参数的作用以及关系，在上面提到的文章中也作了介绍，这里主要是重复说明一下这些参数的作用，再强调一下它们影响匹配速度的程度；

在为了提高速度而设置参数之前，有必要找出那些在所有测试图像中匹配成功的设置，这时需考虑以下情况：

①     必须保证物体在图像边缘处截断，也就是保证轮廓的清晰，这些可以通过形态学的一些方法来处理；

②     如果Greediness值设的太高，就找不到其中一些可见物体，这时最后将其设为0来执行完全搜索；

③     物体是否有封闭区域，如果要求物体在任何状态下都能被识别，则应减小MinScore值；

④     判断在金字塔最高级上的匹配是否失败，可以通过find_shape_model（）减小NumLevels值来测试；

⑤     物体是否具有较低的对比度，如果要求物体在任何状态下都能被识别，则应减小MinContrast值；

⑥     判断是否全局地或者局部地转化对比度极性，如果需要在任何状态下都能被识别，则应给参数Metric设置一个合适的值；

⑦     物体是否与物体的其他实例重叠，如果需要在任何状态下都能识别物体，则应增加MaxOverlap值；

⑧     判断是否在相同物体上找到多个匹配值，如果物体几乎是对称的，则需要控制旋转范围；

如何加快搜索匹配，需要在这些参数中进行合理的搭配，有以下方法可以参考：

①       只要匹配成功，则尽可能增加参数MinScore的值；

②       增加Greediness值直到匹配失败，同时在需要时减小MinScore值；

③       如果有可能，在创建模板时使用一个大的NumLevels，即将图像多分几个金字塔级；

④       限定允许的旋转范围和大小范围，在调用find_shape_model（）时调整相应的参数；

⑤       尽量限定搜索ROI的区域；

除上面介绍的以外，在保证能够匹配的情况下，尽可能的增大Greediness的值，因为在后面的实验中，用模板匹配进行视频对象跟踪的过程中，这个值在很大程度上影响到匹配的速度。

当然这些方法都需要跟实际联系起来，不同图像在匹配过程中也会有不同的匹配效果，在具体到某些应用，不同的硬件设施也会对这个匹配算法提出新的要求，所以需要不断地去尝试。在接下来我会结合自己做的具体的实验来如何利用HALCON来进行实验，主要是在视频对象分割和视频对象的跟踪方面。

上述转自http://blog.csdn.net/shiwaxinbin/article/details/7244485

//创建模板参数，带“*”影响模板匹配速度,多则速度影响较大
typedef struct _pCreatModel
{
	int iNumLevel;		//****金字塔级数（该值越大匹配耗时越短）
	//模板角度，一般根据对称性来进行设置，若模板图像不对称需设幅度为360度，若为正方形，可设幅度为90度，长方形为180度
	float fPhiStart;	//起始角度（弧度，范围-3.14到3.14）
	float fPhiExtent;	//角度幅度（弧度，范围0到6.28）
	//**优化算法参数,第一个参数，依次更优化，点数多时可使用.'none'1, 'point_reduction_low'1/2, 'point_reduction_medium'1/3, 'point_reduction_high'1/4）
	//*优化算法参数,第二个参数，'pregeneration', 'no_pregeneration' ，预分配内存对速度影响不大，反而耗费内存，不推荐使用
	QString strOptim;	//**优化算法（降低边缘点数可提速,依次更优化.)
	//极性，'use_polarity'，使用该参数即可，一般模板与目标极性相同
	int iEdge;			//对比度，用于提取模板，有三种参数模式[min,max,size],目前只用一个参数
	int iMinEdge;		//最小对比度，排除无效边缘干扰
	_pCreatModel()
	{
		iNumLevel = 5;
		fPhiStart = -3.14;
		fPhiExtent = 6.29;
		strOptim = "point_reduction_low";
		iEdge = 20;
		iMinEdge = 10;
	}
}s_pCreatModel;
//查找模板，带“*”影响模板匹配速度,多则速度影响较大
typedef struct _pFindModel
{
	float fPhiStart;	//**起始角度（弧度，范围-3.14到3.14）
	float fPhiExtent;	//**角度幅度（弧度，范围0到6.28）
	float fScore;		//***匹配度，该值越小匹配越耗时，范围[0，1]，推荐值（0.4-0.7）
	int nNumMatchs;	//匹配个数，0为所有匹配，指定个数，则选择匹配度最高的
	float fMaxOverlap;	//允许的最大重叠面积，范围[0，1]，无格挡可设为0
	//**亚像素精度影响检测速度和匹配结果（*角度*），若精度要求不高，可使用'interpolation'，综合精度和速度可使用'least_squares'
	QString strSubPixel;//**亚像素精度。
	float fGreediness;	//****用于定位加速，该值越大速度越快，但可能导致无法找到匹配目标，推荐（0.7-0.9）
	_pFindModel()
	{
		fPhiStart = -3.14;
		fPhiExtent = 6.29;
		fScore = 0.5;
		nNumMatchs = 0;
		fMaxOverlap = 0;
		strSubPixel = "least_squares";
		fGreediness = 0.8;
	}
}s_pFindModel;