note1

工业上用深度学习缺陷检测
数据过少，图片过大，不能resize，否则可能看不到缺陷
分类：
1、缺陷占原图比例大
2、原图分块
分割：
语义信息不是很强的缺陷，比如划痕
检测

都应该采用分类的评价指标，不应该过分关注IOU。
使用阈值将分割、检测的结果直接转换为分类结果
1.缺陷的面积、周长
2.检测框的置信度。。。
在训练模型的时候直接使用多任务框架，分类作为主任务，检测、分割作为辅助任务
直接使用分类模型、检测框和分割的标注直接作为attention模块引入
UNET
FPN

机器视觉在智能工业检测中的应用研究

一.系统组成
1.工业相机：面阵相机、线阵相机
相机芯片、分辨率、帧率、数据传输方式、镜头分辨率
2、成像光源：条形光、面型光源、环形光源
低角度、高角度、背光源、红外、紫外、近红外
3、图像工作站（工业PC）
多核
CPU
二、应用场景
1、尺寸测量
精度要求：0.1mm
检测对象：圆、线段、圆弧、特征点、特征区域
计算方法：点To点、点To线、线To线
工业应用：零部件尺寸测量
2、质量检测
产品表面质量检测
缺陷类型：划痕、脏污、亮斑、缺角、凸起等
检测精度：不低于99%、缺陷面积0.1平方毫米
计算方法：图像分块、图像配准、图像矫正、像素比对、缺陷类型分类
工业应用：印刷产品、产品外观、印刷电路板等
3、视觉定位
精度要求：0.05mm（双目、多目定位）
检测对象：机械零部件、键盘、印刷电路板
计算方法：特征点提取、图像（旋转）匹配、变换矩阵的拟合
工业应用：精密机加工之前的定位、机器人抓取/安装、
4、类型识别
识别精度要求：99%
检测对象：各种机加工零部件、印刷产品、印刷字符
计算方法：图像分类的古典算法，几乎无法应用DL等大样本训练的模型
工业应用：分类加工、包装

保证精度和准确度

三、技术要点&难点
1、相机、光源的配置
a、考虑检测对象特征：光源的照射角度（定制）、相机景深（远心镜头）
b、检测的实时性要求：对相机的帧率、光源亮度的要求
曝光时间（10us-200us）、运动模糊（相机曝光时候产品还在运动，同样一个点发生拉伸。不考虑去模糊方法，反向处理并没提高检测精度，只提高人看图片舒适感，相机快门要快，即曝光时间短，故光源亮度要很亮）、光源亮度（定制）

有什么办法可以拍摄出硬币的侧面
频闪方式，拍第一张的时候可能用正45度的相机去拍，下一张用相反角度去拍，光源亮度要亮、可控制起频，角度可调
如何同时拍摄硬币的正反面
面阵相机经过玻璃去拍（玻璃有反光，可能造成虚影），镜面反射（通过线阵相机采集一个缝去做镜面反射还是面阵相机）
存在“隐形文字”如何拍摄

面阵相机与线阵相机
线阵相机：是采用线阵图像传感器的相机。线阵图像传感器以CCD为主，到2012年市场上也出现了一些线阵CMOS图像传感器。但是，线阵CCD仍是主流。
线阵图像传感器主要分为单色和彩色两种，因此线阵相机也分为单色和彩色两种。
分辨率：2K-6K(10K相当于面阵相机一个亿的分辨率精度）

2、视觉检测工位的机械设计
设计要满足图像的成像要求
符合现场生产的工艺要求

3、图像处理算法
图像预处理：图像去噪、灰度转换、二值化、提取梯度、LBP…
图像分割：灰度、梯度、角点…
边缘检测：Canny、形态学方法、圆形拟合…
图片匹配：NCC、NCC++、Rotated-NCC…
图像矫正算法：仿射变换、透射变换，（分块）
像素比对：定义多种规则
缺陷分类：连通域分析、长宽比、占空比等指标
目前也存在一些商业的SDK，可供选择。相当于商业版本的caffe。ipp

圆形的产品存在错切方向的畸变（不知道具体哪个方向存在的畸变，只能检测圆的边缘）

4、人机交互软件
a.面向工人：简单易用
b.功能全面：模型数据库管理、图像建模软件、离线测试功能、在线检测功能、IO输入输出、运动控制、相机控制、光源控制…
c.软件加密、安全
（一般情况下，公司会将软件和算法人员分开，该部分主要由软件人员负责开发）

铝件表面反射光对成像的影响
曝光时间过长，使得其表面的光不应该有很强的光反射到镜头里面，曝光时间调短，光源加亮。

拖影干扰
整体流程：
相机采用外触发形式驱动拍照，软件使用回调进行帧采集，分析过程用OPENCV完成分析，通过IO卡送出分选信号到PLC分选良品与不良。这里需要用到频闪灯控制以减小产品移动时在图像上留下拖影。
算法设计：
可以搞四个算法：
第一预处理，第二图像正则化，第三定位，第四阈值分割

白光拍不出来，其他颜色的光也拍不出来。铝件，金属件一般用蓝光比较好。

图像正则化，实际上就是将图像进行配准，使得两个图像做比对，检测能对齐。

亚像素是算出来的，不是拍出来的