[总章]Halcon算子知识

[20240111]

知识篇

图像增强：

核心方法：定位特征，逐步求精。

1、图像增强方法：

空域法（包括灰度变化、直方图修正、平滑、锐化、色彩增强等）、频域法（包括低通滤波、高频高提升滤波、同态滤波等）

2、目的：

改善视觉效果，提高图像清晰度；使图像转换成更适合人/机器分析处理的图形

3、灰度变化：

线性变换、非线性变换、指数变换；

4、直方图修正：

均衡化、规定化；

5、平滑（去除/衰减图像噪声和假轮廓）：

空域平滑法（邻域/局部平滑法、阈值平均法、加权平均法、模板平滑法、多图像平均法）、频域平滑法（频域低通滤波法、理想低通滤波器ILPF、Butterworth低通滤波器BLPF、指数低通滤波器ELPF、梯形低通滤波器TLPF、中值滤波法/非线性平滑滤波法、）

6、锐化（加重目标轮廓，使模糊图像变清晰）：

空域微差分法（空域锐化法、拉普拉斯锐化法、模板锐化法）、频域高提升滤波法（理想高通滤波器、Butterworth高通滤波器、指数高通滤波器、梯形高通滤波器）

7、图像平滑锐化时的注意事项：

平滑锐化时，图像边界不处理；一般处理时仅对原图像进行处理；先平滑后锐化。

8、图像增强分类：

分为灰度图像增强和彩色图像增强。

图像增强过程中不需要分析图像降质原因，处理后也不一定逼真原图像。

图像预处理：

增强对比度：

1、mean_image()+scale_image_max()+emphasize()[除噪声]

2、exp_image()+scale_image_max()[使黑色为0，白色为255，边缘清晰，但有损图像]

3、log_image()+scale_image_max()+scale_image_range()+scale_image_max()+emphasize()[使黑色更黑，白色更白]

4、illuminate()+emphasize()[使黑白分明，图像无损]

5、invert_image()+scale_image_range()+invert_image()+emphasize()+mean_image()+scale_image_max()+emphasize()[使黑白分明，白色255，黑色0，但有噪声且边缘不好]

6、equ_histo_image()[使直方图均值化]

7、coherence_enhancing_diff()+emphasize()[边缘清晰化，运行速度极慢]

8、mean_curvature_flow()+emphasize()[是像素平均化，运行时间慢]

9、fill_interlace()+shock_filter()[边缘非常清晰，但是图像有损坏，运行速度慢]

10、gen_image_const()+get_image_size()+gen_circle()+reduce_domain()+gray_opening()+emphasize()[清除噪声，使黑色更黑]

11、gen_image_const()+get_image_size()+gen_circle()+reduce_domain()+gray_closing()+emphasize()[清除噪声，使白色更白]

12、gray_range_rect()+exp_image()+log_image()+scale_image_max()+threshold()+connection()[可得完整XLD]

13、add_image()+emphasize()[清除噪声,白色更白]

14、gen_image_const()+get_image_size()+Illuminate()+sub_image()+emphasize()[清除噪声,白色更白，黑色更黑]

图像几何变换原理

参考网址

人脸识别：三步走解析人脸识别套路 - 简书

相机镜头测试：镜头分辨率及MTF测试

图像的仿射变换:图像的仿射变换 - 知乎

透视变换逻辑：【图像处理】透视变换 Perspective Transformation_verilog 图像透视变换-CSDN博客

图像的几何变换内容：

平移、缩放、旋转、仿射、透视等等。图像变换是建立在矩阵运算基础上的，通过矩阵运算可以很快的找到不同图像的对应关系。理解变换的原理需要理解变换的构造方法以及矩阵的运算方法。

图像的几何变换分类：

刚性变换、仿射变换和透视变换，如下图：

仿射变换

是从一个二维坐标系变换到另一个二维坐标系，属于线性变换。通过已知3对坐标点可以求得变换矩阵。

透视变换

是从一个二维坐标系变换到一个三维坐标系，属于非线性变换。通过已知4对坐标点可以求得变换矩阵。

边缘检测：

步骤：平滑滤波——锐化滤波——边缘判定——边缘连接

相机畸变矫正：

相机畸变校正原理初步理解 - 程序员大本营

相机成像的过程实际就是将世界坐标系的点，转换到相机坐标系，投影得到图像坐标系，进而转化为像素坐标系的过程。而由于透镜精度和工艺会引入畸变(所谓畸变，就是指在世界坐标系中的直线转化到其他坐标系不在是直线)，从而导致失真，为了解决这个问题，从而引入了相机畸变校正模型。

颜色分类：

https://www.cnblogs.com/xingyuanzier/p/12951150.html

颜色识别：

源码：

见目录

..\代码\颜色识别_Blob分析

..\代码\颜色分类

杂记篇

数组操作：

1. t := [t1,t2]     t1,t2连接成新的数组                

对应算子：tuple_concat

2. i := |t|         得到数组长度                                  tuple_length

3. v := t[i]        选取第i个元素0<= i < |t|                      tuple_select

4. t := t[i1:i2]    选取i1到i1的元素                              tuple_select_range

5. t := subset(t,i) 选取数组t中的第i个元素                        tuple_select

6. t := remove(t,i) 去除数组t中的第i个元素                        tuple_remove

7. i := find(t1,t2) 找到t2数组在t1数组中出现位置索引

8. (or -1 if no match)                          tuple_find

9. t := uniq(t)     在t数组中把连续相同的值只保留一个             tuple_uniq

10. select_obj（从对象数组中选择对象）

11. concat_obj（连接两个标志性的对象元组，将数据传递给另外一个对象）

12. tuple_regexp_select(选择匹配正则表达式的元组元素)

计算：

1. polar_trans_image_ext(将环形圆弧转换为极坐标)(inspect_bottle_mouth.hdev)

2. polar_trans_region_inv(将极坐标中的一个区域变换回笛卡尔坐标)(inspect_bottle_mouth.hdev)

Blob分析：

1. 获取图像；

2. 图像分割；

3. 区域处理；

4. 特征提取向着目标图像步步逼近。

算子篇

File(文件)：

Image(图像):

1. read_image(读取指定路径的图像)

2. write_image(保存图像到指定路径)

3. list_files(获取给定路径下的所有文件)

4. list_image_files(获取给定路径下的所有文件)

Region(区域):

1. read_region(读取指定路径ROI)

2. write_region(保存ROI到指定路径)

Filters(滤波器)：

Arithmetic(算术):

1. abs_image(计算图像的绝对值)

2. add_image(两个图像相加，灰度值相加)

3. div_image(分割两个图像，灰度值相除)

4. invert_image(图像反转，图像灰度值反转)

5.max_image(计算两个图像像素最大值)

6. min_image(计算两个图像像素最小值)

7. mult_image(图像相乘，灰度值相乘)

8. scale_image(缩放图像灰度值)

9. tile_images(将多个图像放到一个平铺放大图中)

10. sub_image(图像相减，灰度值相减)

Color(颜色):

1. rgb1_to_gray(将RGB图像转换为灰度图像)

2. trans_from_rgb(将图像从RGB颜色空间转换为任意颜色空间)

3. trans_from_rgb(将任意颜色空间转换为RGB颜色空间)

Edges(边缘):

1.close_edges(使用边缘震幅图像关闭边缘间隙，尝试修复完整的XLD)

2. close_edges_length(使用边缘震幅图像关闭边缘间隙，尝试修复完整的XLD)

3. edges_image(提取图像XLD)

4. edges_sub_pix(精确提取图像XLD)

5. frei_amp(使用frei-chen运算检测图像XLD)

6. frei_dir(使用frei-chen运算检测图像XLD)

7. highpass_image(从图像提取高频分量)

8. kirsch_amp(使用kirsch算子检测图像XLD)

9. kirsch_dir(使用kirsch算子检测图像XLD)

10. laplace(使用laplace算子检测图像XLD)

11. prewitt_amp(使用prewitt算子检测图像XLD)

12. roberts(使用roberts算子检测图像XLD)

13. sobel_amp(使用sobel算子检测图像XLD)

14. skeleton(计算区域XLD)

Enhancement(增强)：

1. coherence_enhancing_diff(一致性扩散增强)

2. emphasize(增强图像的对比度，均值增强)

3. equ_histo_image(图像直方图线性化)

4. exp_image(图像指数变换，增强亮部像素值，使黑色更黑，搭配scale_image_max算子一起使用)

5. illuminate(增加图像亮度，打灯，均值增强)

6. invert_image(图像像素反转)

7. log_image(图像对数变换，增强暗部像素值，使白色更白，搭配scale_image_max算子一起使用)

8. mean_curvature_flow(江南平均曲率流应用于图像，减小图像噪声)

9. scale_image_max(将最小、最大灰度值变换为0，255)(运用之前，使用mean_image平滑去除小噪声)

10. scale_image_range(将范围内像素增强)

11. shock_filter(冲击波滤波)

FFT(博立叶变换)：

1. convol_fft(在频率域中使用筛选器对图像进行卷积)

Geometric Transformations(几何变换)

1. hom_mat2d_identity(创建二位变换矩阵)

2. affine_trans_region(区域任意变换)

3. vector_angle_to_rigid(刚性仿射变换)

4. hom_mat2d_translate(平移二维变换矩阵)

5. hom_mat2d_scale(缩放二维变换矩阵)

6. hom_mat2d_rotate(旋转二维变换矩阵)

7. move_region(平移区域)

8. zoom_region(缩放区域)

9. mirror_region(镜像区域)

10. transpose_region(倒置区域)

11. polar_trans_region , polar_trans_region_Inv(极坐标与笛卡尔坐标互转)

Smoothing(平滑)：

1. mean_image(均值滤波,值选择公式：2D+1;一般与dyn_threshold共同使用)

Graphics(图形)：

Drawing(画图)：

1. draw_point(在窗口画一个点)

2. draw_regionl(在窗口画一个ROI)

3. draw_rectangle1(根据坐标系，在图像中画一个矩形)

4. draw_rectangle2（画一个带角度的矩形）

5. gen_rectangle1（生成一个矩形ROI）

6. gen_region(生成一个ROI)

7. gen_empty_region(生成一个空白ROI)

Mouse(鼠标)：

1. get_mbutton(等待鼠标动作)

2. get_tposition(获取鼠标位置)

3. set_tposition(设置鼠标位置)

4. set_mshape(设置鼠标形状)

Object(对象)：

1. attach_drawing_object_to_window(将现有绘画对象附加到窗口)

2. attach_background_to_window(将背景图附加到窗口)

3. clear_drawing_object(清除绘制对象)

4. create_drawing_object_circle_sector(创建一个可交互的扇形对象)

5. create_drawing_object_rectangle2(创建一个可交互移动的矩形对象)

6. create_drawing_object_text(创建一个可交互移动的文本对象)

7. perform_measurement(计算绘画对象与图像的交点)

8. display_results(将点坐标显示到窗口中)

9. detach_background_from_window(从窗口分离背景图)

10. detach_drawing_object_from_window(从窗口分离绘画对象)

11. set_drawing_object_params(设置绘画对象的颜色)

12. set_window_param(设置窗口参数)

Output(输出)：

1. disp_arc(在窗口显示弧形)

2. disp_arrow(在窗口显示箭头)

3. disp_circle(在窗口显示圆形)

4. disp_cross(在窗口显示交叉)

5. disp_ellipse(在窗口显示椭圆)

6. disp_line(在窗口显示直线)

7. disp_rectangle1(在窗口显示矩形)

8. disp_rectangle2(在窗口显示矩形)

9. disp_region(在窗口显示区域)

10. disp_xld(在窗口显示轮廓)

Parameters(参数)：

1. dev_close_window(关闭图像窗口)

2. dev_display(在窗口显示图像)

3. dev_disp_text(在窗口打印文本)

4. dev_open_file_dialog(打开文件选择对话框)

5. dev_open_window(打开图像窗口)

6. dev_set_color(设置图像颜色)

7. dev_set_line_width(设置轮廓宽度)

8. dev_set_window(激活图像窗口)

9. dev_update_off(关闭图像更新)

10. dev_update_on(打开图像更新)

Text(文本)：

1. read_string(在窗口等待写入文本并读取)

2. write_string(在窗口打印文本)

Identification(识别)：

Bar Code(条码)：

13. create_bar_code_model(创建条码识别模型)

14. decode_bar_code_rectangle2(在矩形框内识别条码)

15. find_bar_code(检测和读取图像中的条码)

16. get_bar_code_object(访问条码的标志对象，即将条码用绿色框框选中)

17. get_bar_code_result(获取识别条码字符串)

18. get_bar_code_param(获取条码参数)

19. set_bar_code_param(设置条码参数)

Image(图像)：

Access(访问)：

20. get_image_size(获取图像大小)

Acquisition(拍照)：

1. open_framegrabber(打开相机)

2. set_framegrabber_param(设置相机参数，ExposureTime是曝光时间，GainRaw是曝光增益)

3. grab_image_start(开始拍照)

4. grab_image_async(获取拍照图像)

5. close_framegrabber(关闭相机)

Channel(通道)：

1. access_channel(访问多通道图像的通道)

2. append_channel(增加图像通道)

3. compose2(将两个图像合并为双通道图像)

4. decompose2(将双通道图像拆分成两个图像)

5. image_to_channels(将多通道图像转换为单通道图像)

Creation(创造)：

1. copy_Image(复制图像)

2. gen_image_const(创建有灰度值的图像)

3. region_to_mean(使用均值灰度值绘画图像)

Domain(区域)：

1. add_channel(向ROI增加通道图像)

2. change_domain(更改图像范围)

3. full_domain(填充图像区域)

4. get_domain(获取图像区域)

5. rectangle1_domain(根据矩形减少区域)

6. reduce_domain(减少图像区域)

Features(特征)：

1. gray_histo(计算图像灰度直方图)

2. histo_to_thresh(根据灰度直方图确定阈值)

3. histo_2dim(计算双通道图像的灰度直方图)

4. intensity(计算图像灰度的均值和偏差)

5. min_max_gray(获取图像最大、最小灰度值)

6. select_gray(根据灰度要素筛选图像区域)

Format(格式)：

1. crop_domain(剪切图像区域)

2. crop_part(剪切矩形图像区域)

Mainpulation(操作)：

1.overpaint_gray(

将一个图像的灰度值覆盖到另一个图像中)

2. overpaint_region(将一个ROI覆盖到图像中)

3. paint_gray(将一个图像的灰度值绘制到另一个图像中)(用途：将局部图像灰度强/弱化，再重新绘画到原图像)

4. paint_region(将ROI绘制到图像中)

5. paint_xld(将XLD绘制到图像中)

6. set_grayval(在图像中绘画一个像素灰度点)

Morphology(形态学)：

Region(区域)：

1. boundary(获取区域边界)

2. closing(关闭区域)（先膨胀后收缩）（用于填坑）

3. closing_circle(使用圆形结构元素关闭区域)

4. closing_rectangle1(使用矩形关闭区域)

5. dilation_circle(使用圆形膨胀区域)

6.dilation_rectangle1

(使用矩形膨胀区域)

7. dilation1(膨胀区域)

8. erosion(侵蚀区域)

9. erosion_circle(使用圆形侵蚀区域)

10. erosion_rectangle1(使用矩形侵蚀区域)

11. opening(打开区域)（先侵蚀后膨胀）

12. opening_circle(用圆形打开一个区域)

13. opening_rectangle1(用矩形打开一个区域)

Object(数组)：

Information(信息)：

1. compare_obj(数组比较)

2. count_obj(统计数组大小)

Manipulation(操作)：

1. concat_obj(数组合并)

2. copy_obj(复制数组)

3. gen_empty_obj(创建空数组)

4. insert_obj(插入数组)

5. obj_diff(数组相减)

6. remove_obj(删除数组元素)

7. replace_obj(替换数组元素)

8. select_obj(选择数组元素)

Regions(区域)：

Creation(创建)：

1. gen_circle(创建一个圆)

2. gen_empty_region(创建一个空白区域)

3. gen_rectangle1(创建一个矩形)

4. gen_rectangle2(创建一个带角度的矩形)

5. gen_region_histo(将直方图转换成区域)

Features(特征):

1. area_center(计算区域的面积和中心坐标)

2. circularity(计算区域的圆度)

3. inner_circle(创建区域内部最大的圆)

4. inner_rectangle1(创建区域内部最大的矩形)

5. select_shape(根据形状特征选择区域)

6. select_shape_std(选择区域内指定形状)

7. select_shape_xld（根据形状特征选择轮廓或者多边形）

8. smallest_circle(寻找区域最小的圆)

Geomagnetic Transformations(图像变换):

1. affine_trans_region(区域任意变换)

2. zoom_region(缩放区域)

3. move_region(移动区域)

Sets(集合):

1. complement(获取补充区域，即获取选中区域以外的所有区域，区域取反)

2. difference(计算两个区域的不同，区域相减)

3. intersection(计算两个区域的交集，区域相交)

4. union1(一个区域数组的合并，区域数组相加)

5. union2(两个区域的合并，区域相加)

Transformations(变换):

1. connection(计算区域连接的组件，即将区域打散成区域数组)

2. fill_up(填充区域)

3. fill_up_shape(根据指定形状填充区域)

4. shape_trans(变换区域形状)

5. skeleton(计算区域骨架)

6. sort_region(根据区域相对位置对区域进行分类)

Segmentation(分割)：

Threshold(阈值分割):

1. auto_threshold(使用由直方图确定的阈值分割图像)

2. binary_threshold(二值化阈值分割图像)

3. dyn_threshold(动态阈值分割图像)

4. histo_to_thresh(根据直方图获取灰度阈值)

5. local_threshold(使用局部阈值分割图像)

6. threshold(全局阈值分割图像)

7. threshold_sub_pix(以子像素精度提取图像的水平交叉)

8. fast_threshold(使用全局阈值对图像进行快速阈值化；与threshold相同，速度更快一些)

System(系统):

Serial(串口通讯):

1. close_serial(关闭串口)

2. open_serial(打开串口)

3. read_serial(读取串口)

4. set_serial_param(设置串口参数)

5. write_serial(写入串口)

Tool(工具):

Geometry(几何):

1. distance_pp(计算两点之间的距离)

2. distance_pl(计算点到直线距离)

3. distance_pr(计算点到区域的最长最短距离)

4. distance_lr(平面中，计算直线到区域的最长最短距离)

5. distance_rr(计算区域之间的最短距离)

Tuple(工具):

Arithmetic(算术):

1. tuple_sub(数组相减)

XLD(轮廓):

Access(访问):

1. area_center_xld(获取XLD的中心坐标和面积)

2. height_width_ratio_xld(获取XLD的长和宽)

3. select_shape_xld(根据要求筛选XLD)

4. smallest_rectangle1_xld(获取XLD内最小的矩形XLD)

Creation(创造):

1. gen_contour_region_xld(根据ROI生成XLD)

2. gen_region_contour_xld(根据XLD生成ROI)

开发:

1. dev_close_window(关闭当前图片窗口)

2. dev_disp_text(在图像窗口显示文本)

3. dev_display(在图像窗口显示图像)

4. dev_open_file_dialog(选择文件弹窗)

5. dev_open_window(打开图像窗口)

6. dev_set_color(设置单个颜色)

7. dev_set_colored(设置多个颜色)

8. dev_update_off(关闭图像窗口更新)

9. gen_region_points(根据坐标画点)

10. intersection_ll(画出两条线的交点)