6、Halcon图像边缘提取和轮廓识别

目录

1、图像边缘提取原理

2、边缘提取算子介绍

3、图像的亚像素边缘提取

4、亚像素轮廓的特征分析

5、xld的分割及直线拟合

6、圆及椭圆的拟合

7、中心线的提取

---

1、图像边缘提取原理

网上搜索图像边缘提取，有很多详细的讲解，就是讲的都太深奥，很难看明白。图像边缘提取原理并不复杂，至于一些大牛提供的复杂变换公式，也没必要深入的去研究，halcon都已经在算子中将其封装好了，我们会用就行。

边缘的定义：边缘是图像中灰度发生明显变化的地方，是不同灰度区域之间的界限。

图像的每个像素点的灰度值用矩阵来表示，那么画竖线的位置就是边缘界限。

那么如何进行图像边缘的提取呢？采用掩模的方式，在图像矩阵上进行移动，然后利用掩模内的掩模值进行计算，进而实现边缘的求取。

举例：假如使用3*3的掩模来求取：

      -1    0    1

      -1    0    1

      -1    0    1

掩模矩阵和红色圈出来的Value1计算：{(-1)*1+0*1+1*1}+{(-1)*1+0*1+1*1}+{(-1)*1+0*1+1*1}=0

掩模矩阵和蓝色圈出来的Value2计算：{(-1)*1+0*1+1*10}+{(-1)*1+0*1+1*10}+{(-1)*1+0*1+1*10}=27

我们可以设置一个边界值Value，则程序中可设置判断，当|Value2-Value1|>Value时就认为当前是图像边缘。

halcon常用的掩模：

Robert边缘

算子：roberts。边缘定位准，但是对噪声敏感；适用于边缘明显且噪声低的图像分割。边缘定位精确度低。

            模板1：

                           1      0

                           0     -1

             模板2：

                           0       1

                          -1       0

Prewitte边缘

算子：prewitt_amp。对噪声可以适当抑制，但是会起到边缘平滑，对边缘的平滑不如Robert算子。

             x方向：

                          -1       0       1

                          -1       0       1

                          -1       0       1

             y方向：

                           1       1       1

                           0       0       0

                          -1      -1     -1

Sobel边缘

算子：sobel_amp。Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度。

             x方向：

                          -1       0       1

                          -2       0       2

                          -1       0       1

             y方向：

                           1       2       1

                           0       0       0

                          -1      -2     -1

Canny边缘：非极大值抑制与阈值的思想，边缘的提取效果在目前边缘提取中是相对效果最好的。（原理复杂，会用就行）

其它边缘：拉普拉斯边缘等（用的少）。

Canny没有对应的算子，如edges_image (EdgeAmplitude, ImaAmp, ImaDir, 'canny', 1, 'nms', 20, 40)，在参数中设置为canny。

2、边缘提取算子使用介绍

弄清了边缘提取原理后，本节讲解边缘提取算子具体使用。

首先，读取图片，并灰度化转换

read_image (Image1, '1.bmp')
rgb1_to_gray (Image1, GrayImage)

roberts边缘算子：

*roberts边缘,边缘定位精准
roberts (GrayImage, ImageRoberts, 'gradient_sum')

prewitt_amp边缘算子，求出来的边缘要清晰很多了：

*prewitt_amp边缘，对噪声可以适当抑制。变换后图像有偏移
prewitt_amp (GrayImage, ImageEdgeAmp)

sobel_amp边缘算子：

*sobel_amp边缘，可以降低边缘模糊程度
sobel_amp (GrayImage, EdgeAmplitude, 'sum_abs', 3)

Canny求边缘（求图像边缘最好的方法）：

*图像的边缘，参数7：低阈值，参数8：高阈值。一般高阈值是低阈值的1.5倍-2倍
edges_image (EdgeAmplitude, ImaAmp, ImaDir, 'canny', 1, 'nms', 20, 40)

3、图像的亚像素边缘提取

什么叫图像的亚像素？顾名思义，亚像素就是比普通像素精度更高。由原先的像素单位为1，变为比1小的精度。

亚像素原理：采用插值的方式，精确定位边缘的位置。

        比如：     （最邻近插值）

        1、5         插值后           1       3        5

        1、6         插值后           1       3.5      6

插值方法有：双线性插值、三次样条插值。

亚像素边缘，常用的方法是canny边缘方法，算子是edges_sub_pix()，可以直接得到亚像素边缘。

常用英文单词：

     区域：region            轮廓：XLD

     感兴趣区域：RIO

程序讲解：

读取图片，求取第三个区域的边缘。

read_image (Image1, '1.bmp')
rgb1_to_gray (Image1, GrayImage)

通过阈值分割、形状筛选，将7个矩形区域从图像中分割出来

*缩小ROI，阈值分割
fast_threshold (GrayImage, Region, 150, 255, 20)
*连通域
connection (Region, ConnectedRegions)
*区域排序
sort_region (ConnectedRegions, SortedRegions, 'first_point', 'true', 'row')
*选择矩形区域-外接矩形
select_shape (SortedRegions, SelectedRegions, ['rect2_len1','rect2_len2'], 'and', [110,50], [160,70])

对筛选出来的7个矩形区域排序，然后选择第三个区域。

*再排一次序:按列排序
sort_region (SelectedRegions, SortedRegions1, 'first_point', 'true', 'column')
*始终选择第三个区域:参数3为要选择的哪一个区域
select_obj (SortedRegions1, ObjectSelected, 3)

区域筛选下来后要求矩形图像边缘，一定要先包含其边缘，只有将整个区域包含了，才能保证求的区域边缘在里面。可以先用膨胀。再将此区域从原图中裁剪下来。

*正常的膨胀需求用dilation_circle，如果想对一个区域进行平滑操作的时候用闭操作closing_circle
dilation_circle (ObjectSelected, RegionDilation, 5)
*将选出来处理好的区域从原灰度图片上裁剪出来
reduce_domain (GrayImage, RegionDilation, ImageReduced)

最后，对其进行求边缘

*边缘检测-canny
edges_sub_pix (ImageReduced, Edges, 'canny', 1, 10, 20)

4、亚像素轮廓的特征分析

为什么要进行特征分析？如下图所示，是求取出来的边缘，周围的线条是真实需要的，而中间的的线条则是引入的干扰线条。需要根据特征来进行筛选，而这个特征就是亚像素的特征。

亚像素轮廓特征：和前面的区域特征一样，亚像素轮廓特征同样具有自己的特征，在亚像素轮廓中使用较多的特征包括：长度、角度、外接矩形的长宽等。还有一些其它使用很少的特征。

亚像素轮廓的长度：轮廓所占的像素数。

亚像素轮廓的角度：轮廓最小外接矩形中，长边所对应的方向。

亚像素轮廓的外接矩形：能包括整个轮廓的最小矩形就是最小外接矩形。

备注：在求取亚像素外接矩形时，算子要加上_xld

求取xld的最小外接矩形1：smallest_rectangle1_xld

求取xld的最小外接矩形2：smallest_rectangle2_xld

筛选xld：select_shape_xld

程序讲解：

接着前面一节的程序进行。

前面一节一节将边缘求取出来了，但是中间有干扰线条。需要将中间的干扰线条去掉，只保留边上需要的线条。可以通过线条周长的长度来进行筛选

*XLD筛选，参数3，周长
select_shape_xld (Edges, SelectedXLD, 'contlength', 'and', 80, 99999)

补充：通过软件工具，获取XLD线条周长

5、xld的分割及直线拟合

为什么要XLD分割和直线拟合，看前面的提取出来的轮廓线，线条有凸起、或者歪歪扭扭的，不是很规整。因此需要将其拟合，拟合前需要将相交的线分割出来，每条线单独拟合。

XLD的分割：根据XLD之间各个节点的连接情况以及设置条件，将一条或多条分割线分割成更多条线的情况，称为xld的分割。一般先的折点的地方称为分割点。

算子：segment_contours_xld

XLD的拟合：根据线条的预先模型，对线条进行重新成成。包括直线的拟合、圆的拟合、以及椭圆拟合等。

         算子：

                     fit_line_contour_xld：直线的拟合

                    fit_circle_contour_xld：圆的拟合

                    fit_ellipse_contour_xld：椭圆的拟合

XLD的拟合原理：基于最小二乘法拟合、考虑权重的拟合方法。如下图所示意。

程序讲解：

接着上节程序，进行讲解，上一节存在的问题。

进行XLD轮廓线分割

*轮廓XLD的分割,参数3：分割方式，参数4：圆滑程度，参数5和参数6：最小和最大线的距离
segment_contours_xld (UnionContours, ContoursSplit, 'lines_circles', 5, 4, 2)

然后再选择矩形下方的横线。

*选择矩形下部没连接到一起的水平线,根据线的角度来选择
select_shape_xld (SelectedXLD, SelectedXLD1, 'phi', 'and', -0.1, 0.1)

对直线进行拟合

*对选出来的直线拟合,参数2,'tukey'是最小2乘拟合、'huber'是考虑权重拟合
fit_line_contour_xld (SelectedXLD1, 'huber', -1, 0, 5, 2, RowBegin, ColBegin, RowEnd, ColEnd, Nr, Nc, Dist)

再对线左边延长

*拟合后的线不够长，将起始的列往左移动（减去5个像素点）
gen_contour_polygon_xld (Contour, [RowBegin,RowEnd], [ColBegin-5,ColEnd])

拟合、延长后的

将新生成的线和别的线放到一起

*将其他的线也选择出来
select_shape_xld (SelectedXLD, SelectedXLD2, 'phi', 'and', 0.2, 3.14)

*将两次选出来的线放到一个集合中
concat_obj (SelectedXLD2, Contour, ObjectsConcat)

*将集合中的两个线，合并连接到一起
union_adjacent_contours_xld (ObjectsConcat, UnionContours1, 10, 1, 'attr_keep')

生成新的区域

*将线围起来的区域转换成轮廓
gen_region_contour_xld (UnionContours1, Region1, 'filled')

新生成的区域，边缘很圆滑。先腐蚀，再求边缘。

*使用腐蚀，将多出来的去掉
opening_circle (Region1, RegionOpening, 3.5)
*再求边缘
boundary (RegionOpening, RegionBorder, 'inner')

也不圆滑，再进行膨胀，膨胀后再从前面的区域中中裁剪

*求出来的边缘并不是太好，使用膨胀操作
dilation_circle (RegionBorder, RegionDilation1, 3.5)
*膨胀后再从原图中进行裁剪
reduce_domain (GrayImage, RegionDilation1, ImageReduced1)

然后再使用canny求边缘

*再用刚才的边缘,所求得的边缘就要好多了 
edges_sub_pix (ImageReduced1, Edges1, 'canny', 1, 20, 40)

最后再进行连接

*再进行连接
union_adjacent_contours_xld (Edges1, UnionContours2, 10, 1, 'attr_keep')

6、圆及椭圆的拟合

圆的拟合与直线的拟合，也包括线条的分割、筛选以及拟合。

直接以程序来讲解。

程序讲解：

打开图片

dev_close_window ()
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)

read_image (Image1, '1.bmp')

然后取图像中一个不规则的圆区域，将其裁剪下来

*画圆
draw_circle (WindowHandle, Row, Column, Radius)
*生成圆
gen_circle (Circle, Row, Column, Radius)
*裁剪
reduce_domain (Image1, Circle, ImageReduced)

进行边缘提取，并选择外部的边缘轮廓

*提取边缘
edges_sub_pix (ImageReduced, Edges, 'canny', 1, 10, 20)
*选择轮廓形状
select_shape_xld (Edges, SelectedXLD, 'contlength', 'and', 80, 99999)

分割、筛选，因为轮廓线就一条，分割后还是一条

*对选出来的轮廓进行分割，然后求出分割最长的那条线
segment_contours_xld (SelectedXLD, ContoursSplit, 'lines_circles', 5, 4, 2)
*分割的xld长度,长度值保存在Length数组中
length_xld (ContoursSplit, Length)
*求数组最大值
tuple_max (Length, Max)
*选出分割最长的线
select_shape_xld (ContoursSplit, SelectedXLD1, 'contlength', 'and', Max-1, 99999)

对分割、筛选后的线，用圆拟合

*对选出来的线，用圆的拟合。参数2：选择拟合方法，回归的形式
fit_circle_contour_xld (SelectedXLD1, 'algebraic', -1, 0, 0, 3, 2, Row1, Column1, Radius1, StartPhi, EndPhi, PointOrder)
*生成圆轮廓-拟合好的分割线
gen_circle_contour_xld (ContCircle, Row1, Column1, Radius1, 0, 6.28, 'positive', 1)

其它的，如椭圆拟合，分割、筛选方法跟圆一样，直接写出算子使用方法了

*椭圆拟合
*fit_ellipse_contour_xld (SelectedXLD1, 'fitzgibbon', -1, 0, 0, 200, 3, 2, Row2, Column2, Phi, Radius11, Radius2, StartPhi1, EndPhi1, PointOrder1)
*生成椭圆轮廓-拟合好的分割线
*gen_ellipse_contour_xld (ContEllipse, Row2, Column2, Phi, Radius11, Radius2, StartPhi1, StartPhi1, 'positive', 1.5)

7、中心线的提取

介绍：：中心线是出于某区域中心的线，比如图中的道路中心，很多情况下需要求解中心。
求解方法：

方法1：求解区域的边缘，然后进而计算中心。

方法2：先求解区域，然后利用区域骨架求解中心。

方法3：利用lines-gauss算子求解。

程序讲解：

先去读取图片，然后灰度转换

read_image (Image1, '1.bmp')
rgb1_to_gray (Image1, GrayImage)

示例1：中心线提取-亮的区域。

*中心线提取,亮的区域。
*参数3：提取的中心线光滑程度，通常取1.2-1.5。参数4参数5：边缘高低阈值，类似于canny。参数6：中心线是dark还是light
lines_gauss (GrayImage, Lines, 1.5, 3, 8, 'light', 'true', 'bar-shaped', 'true')

示例2：中心线提取-暗的区域。

*提取黑色的中心线
lines_gauss (GrayImage, Lines1, 1.5, 3, 8, 'dark', 'true', 'bar-shaped', 'true')

区域边缘提取和轮廓识别，案例应用见下一节：7、Halcon图像中识别多个矩形区域并对平均宽度测量。

7、Halcon图像中识别多个矩形区域并对平均宽度测量_Big_潘大师的博客-CSDN博客_halcon多个区域