Datawhale干货
内容:工业质检解决方案,相关技术交流
工信部联合国家发展改革委、教育部、科技部等部门发布了十四五智能制造发展规划。规划中提出:到2025年70%规模以上的制造业企业基本要实现数字化网络化,建成500个以上引领行业发展的智能制造示范工厂。
制造业离不开质检
质检需要 AI 智能化赋能
制造业企业生产效率、良品率、能源利用率等要明显提升。其中提到的生产效率和产品良品率是与工业质检息息相关的,而 AI 质检的加入也在这场智能制造发展趋势下被寄予厚望。
质检对于制造企业来说是非常重要的一个环节,眼睛里能看见的产品都是通过了质量检测。而每个产品的内部都包含了各种金属零部件,这些金属零部件也是需要质量检测的。
当然,针对这些产品的质检标准和方式在每个行业都不一样。我们今天的分享将聚焦到质检中的细分领域:金属零部件的外观质量视觉检测。
首先,大家可以看下图,来自部分用户寄来的金属零件样本:切割机压板、金属序列号。针对这些零件,工厂的诉求都是要对其外观瑕疵进行视觉检测。
那么传统常规的质检方式是怎样的呢?
方法一:人工视觉检测
依靠人工的方式存在几个问题:
检测标准不统一,每个人的检测结果也会有差别,不可能复制;
劳动强度大,工人很容易产生视觉疲劳,从而导致误检/漏检率上升。同时也可能会有工人操作安全隐患;
人工质检的培训成本很高,周期长,每一次的培训结果也不可能复制。假如陆续要100个质检岗位,就预示着需要培训100次。
方法二:传统机器视觉检测
这种方法只能解决一些特定的问题。如果是在特征装备场景比较复杂的情况下,或者金属反光零件表面检测这类情况,传统机器视觉检测的漏检率就不好控制了。而且传统视觉检测的整个部署周期比较长,成本也是很多工厂承担不起的。
在走访过几十家工厂车间后,能够直观地了解到,每一个工厂的构建是有差异的,而且质检的内容和标准也是各不相同。如果针对每家产品成立算法团队去进行模型训练,算法工程师完全不够用,且人力成本也是一笔不小的投入。
但如果使用飞桨 EasyDL 零门槛 AI 开发平台进行 AI 模型搭建,工厂的普通技术工人就能胜任,面向零算法基础人群、简单易上手。接下来,我们从具体几个金属零部件视觉质检案例,进一步了解 AI 质检。
用飞桨 EasyDL 工业质检
案例详解
金属零部件具备一些特点,比如:反光、有电镀层、正反面识别、复杂金相识别等。但这些特性在飞桨 EasyDL 视觉检测中,恰恰不用担心。
以下图为例,这是一家检测螺纹口的公司提供的样本。可以看到螺纹口由于磨损或润滑不够导致有拉丝或疤痕的状态。同时由于螺纹口本身尺寸不大,与一毛钱硬币相比还要小几分,因此如果通过肉眼观察,很难分辨出哪一个是合格或不合格。
螺纹口样本
根据样本特征进行采集,并使用飞桨 EasyDL 针对零件进行 AI 检测模型创建,标注出哪些样本为合格,哪些是不合格。
标注瑕疵
标注后在飞桨 EasyDL 平台进行训练并最终部署到边缘计算模块。如果出现蜂鸣和红灯提示,说明这个零件是不合格的,如果绿灯亮起,说明这个零件是合格的。
检验效果
如何建立以飞桨 EasyDL 为核心的 AI 质检系统,仅需几步即可完成。首先是样本分析采集,其次是基于飞桨 EasyDL 的深度学习模型训练,最后再到边缘计算的部署。大家可以发现,AI 质检系统中不仅需要核心算法,还需要很多的硬件支撑,彼此相辅相成。接下来详析带大家拆解步骤。
第一步:样本采集
将部分模拟量转换成可以量化的数字量。比如,这些金属零件上的划痕、瑕疵,或者是零件装配上的位置信息等,都需要将这些信息采集之后传达飞桨EasyDL。初始数据采集的准确性直接影响到后面模型训练的准确度。
在这里就要提到一个很重要的配件,即样本采集用的镜头,它就相当于飞桨 EasyDL 在真实生产流水线上的智能眼睛。采用什么样的镜头,也就意味着让 AI 能看到什么样的内容。这里有两个关键点:如何操作镜头以及如何为样本匹配一个合适的镜头。
先说操作镜头。针对 AI 质检选取的都是工业专用的镜头,其使用逻辑和原理与日常摄影镜头并无二致。因此我们需要了解一些摄影相关技术,如:焦距、变焦、定焦、微距、快门、光圈、感光度、噪点等,都属于摄影的基础知识。这些知识对样本采集起到很好的辅助作用,毫不夸张地说:成功的 AI 样本采集是从一张信息准确且直观的照片开始。
熟悉镜头操作后,就需要给实际样本匹配镜头。从样本大小、远近、位置和运动的模式等方面综合考虑。比如我们上面提到的螺纹瑕疵,可以选择微距,从而让瑕疵很快被镜头捕捉到。样本取样中需要争取每个角度都有侧重,甚至要关注不同光线下的样本选取。
第二步:样本标注
在数据准备完成后导入飞桨 EasyDL 进行标注,在这里需要注意标签和标注的重点。
标签
标签是围绕着样本要表达的信息和实际部署场景展开的。比如外壳的划痕检测,工厂要求一旦出现划痕就视为不合格,或者是装配位置有一个螺丝,也视为不合格。所以在建立标签的时候,一定要按照实际的质检需求和流程设定标签。
标注
标注也是飞桨 EasyDL 中非常重要的环节,需要将图像中涉及的瑕疵全部准确框定标注。利用平台提供的自动标注、纠错、评估报告等反复确认标注信息的准确无误。
在这里提到评估报告中的 maP 值,有98%、99%这样的数值体现,这是深度学习领域里面衡量模型效果的指标。98%并不是说有2%的错误率,需要结合评估报告了解详情。
准确的标注对模型效果至关重要
第三步:模型部署
训练好的 AI 模型需要部署到边缘计算模块或者叫边缘计算相机。本次案例中使用到到的边缘计算相机是集成度很高的产品“辨影”,部署简单且接口丰富。在飞桨 EasyDL 中训练好的模型通过多种方式可直接部署到辨影中,整个部署过程中不需要再编写任何代码。
辨影本身自带高灵敏度的液晶触摸屏,在不用外接显示器的情况下就可以对模型进行管理,比如:图像的自动拍照、采样以及各种调节等,且内置了蜂鸣器,可对效果验证给到提示。在接口方面包含了现在大部分的常用输入和输出接口,支持多种触发方式和信号输出。也可以外接摄像头或各种视频信号,也可以连接到 PLC、单片机、网站、服务器和手机 APP 等。
边缘计算模块(辨影)工作流程图
最终通过边缘相机验证模型检验效果。到这里就完成了用飞桨 EasyDL 进行 AI 质检模型训练过程。
哪些质检项目
适合用 AI 来完成检测呢?
那么,哪些质检项目适合用 AI 来完成呢?
「如果能够一眼看出来的区别和变化,就可以尝试使用 AI 来完成」
这是一个简单直接的判断方式,当然,产业用户更多分布在汽车、金属加工、3C电子等领域,这类用户对自动化及 AI 的理解更多面一些。
除此之外,手工生产产品的 AI 质检领域也非常广阔。虽然目前我国正在进行产业转型,但仍然有大量工厂依赖人工生产及质检。一个工人一天要手工挑选上万件产品,比如一根 USB 线,注塑完后有没有问题,压铸有没有问题,都是在靠人工检查。又或者是拉锁的识别,需要检查拉锁是否有缺齿,这些都占据工人大量精力。应用 AI 减少重复性劳动、提升质检效率,并且能够高标准确保品控。
总结一下,飞桨EasyDL的部署在工业质检上有如下三点优势:
人员成本低
操作学习成本低
部署场景要求低
说了这么多,大家可以在官网自行体验一款 AI 模型的创建过程,从而才能发现AI与产业结合中的问题,并分析解决。
浏览器打开链接,可快速实操:
https://ai.baidu.com/tech/easydl/scenepractice/?ref=wz
限时报名
工业零部件AI视觉质检方案公开课程
看完上述金属零部件质检案例,你是否也对产业应用有了更为具象的理解。我们把质检问题升级:如果目标检测物是瓶盖,它的瑕疵类别繁多,涉及变形、飞边、黑点、缺料、垫片等外观不良的情况。在这种情况下,AI 质检的精度和效率如何保证?如何避免错检或漏检?
本期飞桨 EasyDL-工业零部件AI视觉质检方案公开课程(6月16日20:00),特邀资深产业专家,深度剖析 AI 质检在数据采集镜头选型/反光数据处理/标注等痛难点。带大家全流程了解 AI 质检实现路径,让 AI 质检,一步到位。
相关学习交流
扫码加入技术交流群
⬇️ 点击「阅读原文」,加入交流群