机器视觉算法与应用-双语版-学习笔记

1.简介

 1. 目标识别
 2. 位置检测
 3. 完整性检测
 4. 形状和尺寸检测
 5. 表面检测
机械工程+电子工程+光学工程+软件工程等交叉学科

2.图像采集

2.1 照明

作用：显现重要特征

2.1.1 电磁辐射

可见光波长：380-780nm
X射线、伽玛射线<紫外光<可见光<红外线<微波、无线电波

2.1.2 光源类型

 1. 白炽灯：亮，发热严重、寿命短
 2. 氙灯：闪光灯，贵，供电复杂、易老化
 3. 荧光灯：便宜，寿命短
 4. 发光二极管（LED）：寿命长、亮度灵活，与环境温度越高性能越差，寿命越短；MV常用

2.1.3 光与被测物体间的相互作用

2.1.4 利用照明的光谱

特征增强
红光增强
白光+滤镜
CCD和CMOS对红外敏感
偏振片

2.1.5 利用照明的方向性

2.2 镜头

2.2.1 针孔摄像机

2.2.2 高斯光学

同心光束通过球面透镜镜头后又汇聚到一点

2.2.3 景深

2.2.4 远心镜头

2.2.5 镜头的像差

高斯光学假设汇聚于一点，实际会产生像差
球差，慧差，唱曲

2.3 摄像机

作用：将通过镜头聚焦于像平面的光线生成图像
重要组成：数字传感器：CCD,CMOS

2.3.1 CCD传感器

需要与被测图像做平行、相对运动
电耗多，成本高，成像质量好

2.3.2 CMOS传感器

结构简单、便宜,耗电低

2.3.3 彩色摄像机

为了产生彩色图像，需要在传感器前面加上彩色滤镜阵列，使得一定范围的光到达每个光电探测器

2.3.4 传感器尺寸

2.3.5 摄像机性能

CCD噪声低，CMOS噪声高

2.4 摄像机-计算机接口

IEEE1394卡，USB2.0,	千兆网卡

2.4.1 模拟视频信号

2.4.2 数字视频信号：Camera Link

2.4.3 数字视频信号：IEEE1394

火线，是高速串行总线标准

2.4.4 数字视频信号：USB 2.0

usb1.0:1.5MB/s
usb2.0:60MB/s

2.4.5 数字视频信号：Gigabit Ethernet 千兆网

10GB/s
缺点是需要电源线

2.4.6 图像采集模式

同步采集：自主运行
异步采集：

3.机器视觉算法

光源：为突出感兴趣物体
图像卡和摄像机：在恰当的时刻用正确的曝光来拍摄图像
镜头：为获取清晰且没有畸变的图像
算法：大脑，数据处理

3.1 数据结构

3.1.1 图像

黑白摄像机：单通道
彩色摄像机：RGB
遥感：多通道，对光谱更细致采样

3.1.2 区域

ROI:感兴趣区域

3.1.3 亚像素精度轮廓

3.2 图像增强

光源、镜头、相机尽力选择最佳后，有时候图像还是不够好，需要用到图像增强。

3.2.1 灰度值变换

3.2.2 辐射标定

G=aE+b
G=灰度值，E=传感器累积的能量
无图表辐射标定：不同曝光值来拍摄图像，曝光比

3.2.3 图像平滑

图像平滑来抑制图像中的噪声

3.2.4 傅里叶变换

3.3 几何变换

检测物体的位姿

3.3.1 仿射变换

有时摄像机和物体距离变化，导致图像中物体尺寸发生明显的变化，这时用仿射变换

3.3.2 投影变换

如果物体在三维空间发生了旋转

3.3.3 图像变换

最近邻域插值
双线性插值

3.3.4 极坐标变换

用来矫正圆形物体或包含在圆环中的物体

3.4 图像分割

提取图像中与感兴趣物体相对应的那些区域

3.4.1 阈值分割

3.4.2 提取连通区域

3.4.3 亚像素精度阈值分割

3.5 特征提取

3.5.1 区域特征

3.5.2 灰度值特征

最大灰度值和最小灰度值
平均灰度值
灰度值方差
a-分位数

3.5.3 轮廓特征

最小外接圆
最小外接矩形
面积、重心

3.6 形态学

调整分割区域后的形状以获取想要的结果

3.6.1 区域形态学

交集、并集、差集、补集、平移、转置
闵可夫斯基加法
闵可夫斯基减法
膨胀、腐蚀
开操作、闭操作
距离变换

3.6.2 灰度值形态学

灰度值膨胀：将图像中一个亮物体的脱节部分连在一起
灰度值腐蚀：能收缩前景并扩大背景；分开相互连接的亮物体，连接支离破碎的暗物体
形态学梯度算子：计算膨胀操作和腐蚀操作间的差

3.7 边缘提取

3.7.1 在一维和二维中的边缘定义

3.7.2 二维边缘提取

sobel滤波器
Lanser滤波器
Canny滤波器
滞后阈值分割：使用两个阈值：高阈值和低阈值、
拉普拉斯算子过零

3.7.4 边缘的准确度

准确度：提取值与真实值接近的程度
精确度：提取某值可重复的程度

3.8 几何基元的分割和拟合

直线、圆、椭圆

3.8.1 直线拟合