【机器视觉】机器人及视觉检测系统在螺丝检测包装生产线上的应用
本文由台达供稿，与读者分享台达SCARA机器人视觉检测系统在螺丝检测包装生产线上的应用。
项目背景
随着消费者个性化定制的呼声越来越高涨，整居定制的装修理念逐渐深入人心。为打破产品同质化的僵局，近年来，家具商开始实行模块化的定制家居经营模式，在新思维研发者的眼中，家庭装修不再是复杂的工程，家居产品只是一个个零件，把它们按图纸像搭积木一样就能装修完毕。这种模块化定制家居的模式已成为行业不可逆转的发展趋势。
台达为某大型DIT家具商的螺絲检测包装生产线提供SCARA机器人、视觉检测系统及总线控制架构，取代人力装盒及检查，不仅展现出台达产品在自动分拣-包装领域的完整解决方案，更确保客户家具螺丝配件的产品质量，提高螺丝配件的出货速度。
项目方案
在该方案中，台达提供4台SCARA工业机器人DRS60L系列、4套新一代多镜头机器视觉系统DMV2000-80GX，并为螺丝检测包装制程提供程序编写指导、SCARA使用培训、DMV2000-80GX设定与轴控API使用教学以及各轴之间的伺服调节协助。
该方案采用高生产适应性的流水线架构，模块化构成，通过“自动化取放料站概念”和“视觉辨识”实现快速换料或扩种物料种类的动作，方便实用。同时，该方案采取台达DMCNET总线架构，实现“分类-包装”整线运行，与不同上位架构结合，更具弹性。系统架构如图1所示。
图1 系统架构
整条热压包装移入、放料、封装三个区域，整线规划为上位机负责操作主机DVP-EH3系列，SCARA工业机器人DRS60L系列及机器视觉系统DMV2000-80GX对应不同料件。第一区DVP-EH3系列将空塑料盒移入主输送带上；第二区由4台DRS60L通过DMV2000-80GX对位，将不同的料件取出取料区再放入输送带上的空塑料盒内；第三区将装好料件的塑料盒透过XYZ轴移动到包装机内进行封装。整线规划如图2所示。
图2 整线规划
控制操作由主机DVP-EH3发送脉波与I/O触发到各运动轴，控制入料、输送带收料XYZ平台动作，可达成准确定位效果。由于采用脉波命令，台达伺服可轻易配合客户旧设备应用，而不需进行设备大幅度修改。DVP-EH3与上位机使用Ethernet通讯，可及时修改D区资料，更改PLC动作更为方便。控制操作如图3所示。
图3 控制操作示意
取放料依照放置的零件种类而会有不同数量的手臂模组进行放置，各手臂与上位控制PC透过Ethernet通讯，可随时进行动作修改，弹性高。
图4 取放料操作示意
项目总结
该方案采用台达新产品机器视觉系统DMV2000系列、台达SCARA工业机器人DRS60L系列与PC-Based运动控制卡进行总线控制架构，展示台达产品在自动分拣包装领域的完整解决方案。伴随着消费升级，各行各业对物料包装都有着大量需求，台达的这套设备不仅可以应用在家具螺丝分拣包装上，更可以通过改变机械配置与视觉识别，达到物料分类、分拣应用的目的，提高自动分拣包装产线的弹性和效率，满足更多客户需求。
Euresys：在机器视觉中采用深度学习是一个新方向
受访者：Euresys CEO Marc Damhaut先生
Q：在刚刚过去的2017年，公司业绩比2016年增长的百分比？贡献突出的产品和应用领域分别是什么？
A：Euresys2017年的销售比上年增长了40%。我们的Cameralink采集卡（Grablink系列）和Open eVision图像处理软件的销售继续保持增长的势头，但是增长最快的产品是我们CoaXPress图像采集卡Coaxlink系列。其增长的速度超过了150%。这表明市场对于高速度高带宽的应用有着巨大的需求，尤其是在PCB和平板显示的检测领域。
Q：在过去的一年中，贵司开发的新产品？产品的核心优势？新产品满足的应用需求和应用领域分别有哪些？
A：Euresys是高速图像采集技术和卡类业务的领导者，我们一直鼎力支持CoaXPress标准的制定和推广。在过去的一年中，我们又开发并推出了几款从入门到高端级别新的Coaxlink采集卡。其中Coaxlink Quad CXP-3可为用户提供了最具经济性的单CoaXPress通道链接，Coaxlink Quad 3D-LLE则为超高速的3D测量提供基于FPGA的激光扫描的支持机制。
Q：从目前大的产业环境来看，有哪些发展趋势正在推动机器视觉行业的发展？
A：源于更高速更高分辨率的相机对于速度和图像采集的要求将是推动机器视觉发展的动力之一，下一代CoaXPress 2.0的相机接口标准将能够满足此要求。
3D检测也将能够在生产线上得到广泛的应用。Euresys籍此也即将在2018年年初在Open eVision软件中推出3D图像分析工具。
另外就是基于ARM平台的嵌入式应用会为视觉行业带来新的发展契机。Euresys的Coaxlink系列图像采集卡可以支持ARM平台下的Linux系统。
Q：未来工厂高效、精准、快速反应和智能化的生产方式，将会为机器视觉带来哪些机会？抓住这些机会必须解决哪些挑战？
A：首先是机器视觉将能够在更多的工厂生产环节中得到应用，除去检测，分拣，质量控制等环节，更多依靠人力来执行的环节像由机器视觉来取代，比如说物料管理，流程控制，从而实现无人或者尽可能对人力依赖的生产制造。其次更高要求的任务需求将会使的机器视觉本身的应用技术得到发展，同时视觉处理的基础技术和软硬件也将得到更多的应用机会。最后机器视觉厂商本身也会针对未来工厂的需求开发更新的产品和技术。
要将机器视觉技术应用到未来更多的生产制造领域需要解决的问题首先是如何高效地利用视觉处理的技术和产品来提高工厂生产效率的问题，系统集成商在这个环节中需要扮演关键的角色。其次，新的应用场合对于技术的精准度和可靠性具有更高的要求，现有的技术和产品需要做大量的提升。机器视觉产品需要形成规模效应以降低成本，但鉴于应用场景的千差万别，批量规模和对于需求的个性化紧密贴合也是一对需要平衡解决的矛盾冲突。
Q：就视觉技术本身的发展和视觉技术的应用领域这两方面，您还分别看到了哪些特别的发展趋势？
A：在机器视觉中采用深度学习会在未来技术发展的一个新的方向，目前这项技术还处在初期阶段。Euresys目前也参与了一项将深度学习在其他技术中进行应用的研究项目，旨在将机器学习应用在工业视觉领域。
Q：2018年公司的发展目标及发展规划？预计业绩比2017年增长的百分比？会将重点放在哪些产品和哪些应用领域？
A：2018年我们仍然期待公司有两位数的快速增长。我们预计半导体设备市场能够保持强劲的增长势头，尤其是中国和韩国市场。Euresys持续增大在亚洲，包括上海和东京办公室的投入。同时我们刚刚完成了对Senor to Image的收购。这是一家专注于机器视觉视频接口开发的公司。此项收购能够帮助Euresys在2018年以更快的速度推出新的产品。
Euresys在明年即将推出的产品由Coaxlink Octo，一款八通道的CoaXPress采集卡，可以为多相机的应用提供集约的解决方案。我们还将推出基于CoaXPress2.0的新产品CXP-12(12-Gbps)，以帮助诸如3D和场景分析等大数据量应用解决带宽的瓶颈问题。最后但同样重要的，我们还要介绍一下我们新的基于HEVC (H.265)的IP视频编码器，它支持1080p60，可以用于智能视频监控类应用。
盛相科技：加速3D视觉检测产品的应用升级
受访者：盛相科技总经理吴笛
Q：在过去的一年中，贵司开发的新产品？产品的核心优势？新产品满足的应用需求和应用领域分别有哪些？
新产品：Sizector™ H系列３D相机（三维视觉扫描仪）是我司即将推出的新品，该产品基于先进的移相法结构光技术，将３D扫描和解算过程封装在独立的设备中，可直接输出高帧率、高精度、高完整性的面阵３D数据。用户既可通过调用SDK的方式直接控制３D相机搭建非标系统，也可采用Sizector™Light３D检测软件快速响应标准３D检测需求。
核心优势：该产品在检测速度上有大幅提升，对比盛相上一代三维视觉扫描产品，最快检测节拍从0.25秒提升50%以上，可达0.1秒左右；其次，相同视野情况下（视野大小为40mm x 30mm时）拍摄精度相比上一代产品也有大幅提高。
Sizector™ H系列３D相机在客户应用体验上带来质的变革，用户可以用盛相Sizector™Light３D检测软件或者选用产品预留的SDK接口自主开发适合自己应用的软件模块。用户使用SDK开发的功能模块可以保留自主知识产权。
应用需求、领域：我们主要服务的客户来自电子制造业，特别是手机制造行业，如SIM卡的三维尺寸在线检测、手机壳体的平面度在线检测、手机连接器类产品的平面度、高度差检测、手机边框的段差检测等。
Q：从目前大的产业环境来看，有哪些发展趋势正在推动机器视觉行业的发展？
技术推动（机器视觉系统集成需要多种技术融合，软硬件结合）、客户需求空间（成本驱动、经济环境-最终用户市场需求是否旺盛）、产业政策（工业自动化推动、提倡高效节能项目）、人才培养（专业人员缺少，从业人员半路出家居多）
Q：未来工厂高效、精准、快速反应和智能化的生产方式，将会为机器视觉带来哪些机会？抓住这些机会必须解决哪些挑战？
在速度、精度和兼容性等方面，我司出品的Sizector™系列3D相机及其配套软件可以完全满足电子制造业客户在线全检要求。我们预计未来的智能工厂对生产效率和精度要求会越来越高，以盛相目前的三维检测技术水平，假设未来生产设备提速50%以上，我们的Sizector™系列也是可以完全匹配的。从产品形态上来看，未来对三维视觉扫描检测设备的要求会分为两个部分：硬件会更趋于产品标准化、高集成、体积更小，软件则会更看重功能模块实现的便捷程度。由于机器视觉系统，或者更具体的，三维视觉检测设备集合了光学成像、机械工程、图像处理、数学算法等方方面面的技术，未来某一学科在应用层面取得了重大进展，都可能为机器视觉技术变革带来重大影响。
Q：就视觉技术本身的发展和视觉技术的应用领域这两方面，您还分别看到了哪些特别的发展趋势？
三维视觉检测系统的相互联网、通信和协作会是主流，这在产品体积较大需要进行拍摄图像拼接、机器人引导、或者产线联动的应用场景里是一个强需求，我们认为这会是机器视觉市场的一个大的增长点。
Q：2018年公司的发展目标及发展规划？预计业绩比2017年增长的百分比？会将重点放在哪些产品和哪些应用领域？
经历了去年的技术和产品积累，2018年将会是盛相科技快速增长的一年。今年我们会更侧重于改进产品在应用层面的升级，为合作伙伴、客户提供更多的支持。我们也在持续寻找更多的合作伙伴，建立健康的市场渠道，推动3D产品的应用。产品方面，标准化、模块化的3D相机会是我们推广的重点，同时配备标准化的SDK接口、平台化的检测软件，以期给客户带来便捷搞笑的应用体验。
3D成像：嵌入式FPGA处理引擎实现3D web检测
视觉系统设计
奥地利自动化解决方案提供商digMAR公司为德国地毯和纺织品切割机供应商KURIS公司开发了一套3D图像处理系统。这套多相机机器视觉系统设计用于扫描纺织材料，可以自动计算基于材料高度特性的最佳切割坐标，以引导和控制切割设备。
KURIS公司为纺织和汽车行业提供全面的材料铺展和切割设备，目前已经有超过10,000台设备在世界各地运转。当KURIS公司需要一种可扩展的定制3D解决方案时，他们选择了digMAR公司，因为后者在软件和系统开发方面具备丰富的经验，并且重点关注数字图像处理。
图1：KURIS公司的地毯切割机采用了digMAR公司开发的嵌入相机中的3D激光三角测量技术，以实现实时质量控制。
因为检测诸如纺织品等此类超宽幅面和快速移动的web材料，通常需要大型3D数据流的高速、高吞吐量处理，所以工程师们选用了德国智能相机制造商NET New ElectronicTechnology公司的GigEPRO相机。GigEPRO相机号称采用“开放式相机概念”，其将一台标准的GigE Vision相机与一个开放的FPGA处理引擎相合。
这种架构允许在相机中集成的FPGA上执行标准或定制算法，从而缓解计算密集的主机PC的任务。这样一来，从相机传送到主机PC处理的数据量将显著减少，并且在这种特定应用中，能够在相机上实时执行3D激光三角测量算法。
“理解了这种应用的苛刻需求，以及KURIS要求严格保证光学控制系统的质量，因为这些因素对客户的生产质量和加工速度会产生重大影响。在这种情况下，digMAR的工程师很快就意识到了GigEPRO相机所能提供的优势。”NET New ElectronicTechnology公司工业销售经理Tim Miller说道。
图2：用户在相机中集成的FPGA上执行专有算法，允许相机激光系统在3D空间以0.1mm的精度检测地毯。
相机和SynView SDK开发包完全兼容GigEVision、GenICam和GenTL标准。基于Xilinx公司的Spartan6 FPGA，基本的相机设计为用户在FPGA中留下了额外的容量以及剩余的DDR存储空间，这样用户可以根据实际应用需求，为相机添加具有专有图像处理功能的“定制模块”，也可以开发定制产品。
据Miller介绍，NETNew Electronic Technology公司基于带有定制模块的Xilinx集成综合环境（ISE），为嵌入到相机中的FPGA代码生成提供工具链设置。这种特定的图像处理应用程序执行3D激光三角测量，同时digMAR的工程师也开发了系统的单色、彩色和组合彩色和3D激光三角测量实现。
“相比于采用标准相机的传统方法，嵌入到相机中的3D视觉的独特优势是：获得了实时性能和高度可扩展性，”Miller说道，“这样一来，我们甚至可以解决极端的web宽度问题。”相机输出高度图像和所谓的强度图像，包括原始图像的灰度值。
图3：digMAR公司开发的用于实时web检测的嵌入到相机中的3D视觉系统架构，采用了NET公司集成FPGA的GigE相机。这种开放式相机概念为用户提供了一种实施专有算法的开发平台。
“由于NET New ElectronicTechnology公司提供的这种开放式相机平台，使得KURIS公司能够在熟悉的环境中，将算法编程到GigEPRO相机中嵌入的FPGA中。”Miller解释说，“此外，这些算法在FPGA上保持安全，因为它们对第三方访问安全。而且，未来的软件和硬件适应性也是可能的。在这方面值得关注的应用有内外轮廓、钻孔、材料高度等指标的精确检测。”
该系统实现了高达400mm/s的扫描速度。标准扫描宽度为2100mm，尽管在该应用中客户需要的扫描宽度为4100mm。由于web幅面宽度超过4m，该解决方案使用了16台高分辨率GigEPRO相机，具有大约0.42mm/像素的图像分辨率，用于扫描地毯材料的整个表面。
图4：分析软件显示从3D扫描中计算出的切割坐标。
由于需要较高的地毯切割精度，扫描相机安装在切割机的梁上，这样可以单独扫描真空材料。材料可以手动加载或从卷筒连续进料。
每台相机与一个激光器和一个光学滤波器配对使用，用于产生几幅表面轮廓图像，然后将这几幅图像拼接到一起，以产生地毯表面的3D图像。根据这些数据，具有直观用户界面的分析软件，可以轻松调整边界尺寸、倒角、拼接尺寸和网格大小等参数。该软件包括预定义的计算模式，如自由形式、四边形和矩形、圆形和网格等。
图5：开放式相机概念的工作流程。利用开放式相机，用户可以创建嵌入式相机应用解决方案。
“光学检测需要在所有三维空间实现0.1mm的检测精度，”Miller说道，“因此，我们在GigEPRO相机中执行了digMAR公司的一种子像素精确分析算法。”
文/Steven Gloffen 原文在英文版2017-9月刊
微视新纪元：基于人工智能的嵌入式视觉产品是一大趋势
视觉系统设计
受访者：北京微视新纪元副总经理欧阳哲
Q：在刚刚过去的2017年，公司业绩比2016年增长的百分比？贡献突出的产品和应用领域分别是什么？
2017年相比2016年增长30%；贡献比较突出的是人工智能系列的产品，主要应用在所有的非测量领域。
Q：在过去的一年中，贵司开发的新产品？产品的核心优势？新产品满足的应用需求和应用领域分别有哪些？
2017年，我司与合作伙伴联合开发了人工智能软件AIVISION，以及可以内嵌人工智能软件的智能相机PEGASUS系列智能相机。
AIVISION人工智能软件/智能相机能够像人一样，进行自学习,人通过标识的方式来告知软件要实现什么目的,软件自己进行学习训练，实现辅助或替代脑力劳动者的功能，和传统软件相比优势在于：
1.准确率高：在工业检测领域，通过大数据的学习和不断的重复，准确率无限接近100%。
2.解决疑难问题：在传统机器视觉软件调节一个参数另一个参数可能就会有变动，无法完全满足所有缺陷的检测要求。人工智能，只要不断加样本学习即可。
3.短时间可以做出结果：在时间要求很短的项目上，只要有足够多的图片，而且进行标识，原则上一天就可以做出理想的结果。
4.后期维护方便：传统算法现场出现问题，无法检测出想要的结果，软件编程技术人员要到生产现场进行软件调试，新软件直接把没有检测出来的图片在生产现场再学一遍就可以达到想要的结果。
5.操作门槛低：没有编程基础的人使用这个软件就可以快速对复杂缺陷进行检测识别。
主要的应用领域：非测量类的所有应用领域。
Q：从目前大的产业环境来看，有哪些发展趋势正在推动机器视觉行业的发展？
人工智能、3D、智能相机+机械手一体化的设备
Q：未来工厂高效、精准、快速反应和智能化的生产方式，将会为机器视觉带来哪些机会？抓住这些机会必须解决哪些挑战？
机器视觉逐渐由机器替代体力劳动者过渡到机器替代脑力劳动者，配套机器手未来将大大减少人工成本的支出，解决这些问题，最主要的挑战是基于人工智能的自动化系统推出的速度，谁快谁就将大面积的占领市场。
Q：就视觉技术本身的发展和视觉技术的应用领域这两方面，您还分别看到了哪些特别的发展趋势？
软硬件一体化的趋势更加明显，基于人工智能的嵌入式智能相机和智能处理设备未来会是一个很大的发展趋势。
Q：2018年公司的发展目标及发展规划？预计业绩比2017年增长的百分比？会将重点放在哪些产品和哪些应用领域？
2018年公司将会更深层次的开发基于人工智能的机器视觉软件，预计业绩比2017年增长30%~50%，会将重点放在人工智能领域的软硬件相结合方面。
当图像处理遇上工业4.0，会产生哪些颠覆性的效果？
视觉系统设计
你是否经历过这样的绝望
每当下完一件衣服的订单
你想象中穿上它就能变身高富帅、白富美
但现实是
不是裤腿太长
就是衣袖太短
模特穿着是高档的礼服
但你穿着却像廉价的睡衣
难道我们真的无法跨越
买家秀和卖家秀之间的鸿沟了吗？！
面对这个千古难题
智视宝想说：
当然不是！！！
要穿好需要量体裁衣
要智能生产需要我们来图像处理
工业4.0的世界中，纺织品生产可以利用高效的数据处理，从而实现量身定制。
那这个量身定制的流程是怎样的呢？让我们一起接着往下看。
顾客选定了衣服款式后，就可以通过图像处理系统（机器视觉系统）来测量确定他们的尺码。
具体的表现形式可能为：
■ 在小更衣室里装有四台相机，对身体的每个侧面拍照
■ 由软件处理测量结果以及后续裁剪版型
■ 自动运行其余生产流程
■ 成品装运
因此，时装公司未来的销售模式无需在货架上堆积大量的成品，而是可以借助大规模的虚拟选购，以及快速、可靠的生产来提供服务。
工业相机系统如何实现未来生产工艺的愿景
围绕工业相机构建的图像处理系统已经成为自动化生产中的重要组成部分。从原料检验、生产监控（即缺陷检测）到最终检验和质量保证——在所有这些生产环节中，图像处理系统都是不可或缺的一部分，它帮助实现高效的生产，并保证严格的质量标准。
工业4.0这一专业术语代表新的流程形式和工业生产组织方式。其核心要素是互联网和大范围的数据通信。目标是在广泛数据收集和有效信息交流的基础上，实现自发的、定制化程度更高的以及更高效的生产。
在确定具体信息时，图像处理系统可以起到决定性作用。现在，相机体积在不断减小，价格在持续下降，而性能却在不断提高，这一点很重要。因此，有些领域过去需要使用复杂的系统，而如今使用小型、高效的系统就可以取得相同甚至更好的效果。这项技术的进步加上不断持续发展的网络，赋予了工业4.0开发更多新应用的潜力。
小批量生产的新机遇
工业4.0的重要成果之一是：由于自动控制的应用，许多产品的生产不仅在大批量时可以实现低成本高效率，小批量生产时也能做到，因此现在流行的说法是“一批一件”。
上面提到的纺织品生产就是一个例子，其他例子还包括按客户特定规格来生产单独设计的金属制品，例如邮箱或者围栏。
工业相机系统在此过程中如何提供支持？
例如，我们可以想象一下，这种系统可以用于给新生产的金属部件进行喷涂。自动化喷嘴通常根据预编程的喷涂动作来工作。这种预编程的动作很难预先为定制化的工作进行规划。原则上，可以根据设计规范来确定这些动作。但是，要计算最终喷射模式却是非常复杂的，而且计算结果往往不精确。
相比之下，工业相机可以在现场精确地测量组件，确定其各自形状和位置，从而对喷臂进行相应的引导。同时，也可以通过评估着色，或者在涂层上测量更复杂的反射特性，以光学方式来控制喷涂效果。这种控制数据可以实时进入控制单元。
因此，自动化喷涂系统可以成为一种自主学习系统。这样就可以根据以往的经验更有效地处理类似的新组件。
相机：“废寝忘食”的流程审核员
芯片数据还可以帮助对已出现变化、或甚至已出现缺陷的设备行为进行早期检测，从而引导系统自动采取相应措施（如更改过程参数、订购替代材料和/或呼叫服务）。这项应用既适合生产设备也适合于成品。
工业相机在此过程中扮演着重要的角色，它们可以无间断地进行色彩审核、甚至包括审核大型工件及产品的结构和几何特性，以确定相关参数是否正确，或是否存在偏差。此外它还可以将润滑、磨损、锈蚀等“软”因素考虑在内，为公司的企业资源规划系统提供数据。
图像处理在生产中的应用：机器人与人类携手共进
使用工业相机的应用也将为生产员工提供帮助。但是，无论自动化多么先进，工业生产中仍然需要有人类参与。这是由于人类具备感官能力、灵活性和经济适用性。
即便如此，作为工业4.0的一部分，未来的工作流程也将发生改变。借助在头盔、服装和工具中集成的智能机器视觉系统可以提高人力效率。这在技术上是完全可行的，因为相机体积在不断缩小，重量也在减轻，如今已经出现邮票大小的高精度工业相机，镜头和外壳的总重量不足30 g。
这些视觉系统以可视化方式记录各项活动和工作状态、审核结果、确定合理的后续步骤或识别信息，并将其传递给工作人员，例如可作为通知发送到采用“增强现实技术”的智能眼镜上。 这样就有助促进及时供应工作物料，进一步提升生产力。
文章来源：德国Basler
视觉系统实现食品罐自动检测
视觉系统设计
Greig Lambourne，Adbro Controls公司应用工程师
食品罐在装运前必须要进行检测，以确保它们的盖子上印有有效期代码、罐体上贴有正确的标签且具有防伪印章。
过去，食品罐的检测是由人工手动完成的。这是一个容易出现人为错误的耗时且昂贵的过程。为了降低手工检测的成本并提高效率，英国食品公司AarhusKarlshamn（以下简称AAK公司）向Adbro Controls公司寻求帮助，专门为其产品检测开发了一套基于视觉的自动化系统。
该系统可以在软件控制下进行重新配置，使其能够检测装有蛋黄酱、芥末和沙拉酱等食品的不同形状和不同尺寸的食品罐。
在实际检测过程中，装有特定食品的食品罐通过Bosch Rexroth公司的传送带以0.5m/s的速度被输送到该视觉系统中。一旦食品罐进入该视觉系统，来自IFM Electronic公司的一个光反射传感器07P200 07P-DPKG即被触发。随后，安装在传送带上的SICK公司的一个DFS60编码器，开始跟踪食品罐的位置信息，直到食品罐到达系统中的一个最佳位置。在这个最佳位置处，五台Point Grey公司的Blackfly相机被触发，用于捕获食品罐外部的360°视图以及食品罐盖子的图像（见图1）。
图1：装有农产品的食品罐在传送带上移动时，四台相机用于捕获食品罐侧面的图像，以检测是否遗漏标签和防伪印章。另外一台相机用于检测盖子上是否印有日期代码。
该系统中使用了Point Grey公司的五台BFLY-PGE-13E4C Blackfly彩色相机，其中四台具有6mm的焦距和CS镜头接口，它们安装在X/Y平面，距离食品罐300mm，用于捕获食品罐侧面的四幅图像。每台相机都装有偏振滤光片，以确保白光LED发射的光，不会使直接面对它的相机中的成像器饱和。
第五台垂直安装的Blackfly相机可以在PC的控制下垂直移动，以适用于不同高度的食品罐。这台相机用于捕获食品罐顶部的图像。这台相机的镜头是借助在一块不透明硬质塑料板上切割出的一个小孔安装的，以此提供穹顶灯的一种廉价替代方案。位于x/y平面中的四个LED发出的光，被该塑料板反射，从而能以一种均匀扩散的方式为食品罐顶部提供足够的照明（见图2）。
图2：垂直安装的相机是借助一块不透明塑料板安装的。位于x/y平面中的四个LED发出的光，被该塑料板反射，从而为食品罐顶部提供足够的照明。
一旦系统被触发，相机开始捕获数据，并且通过千兆以太网（GigE）接口将这些数据传送给Moxa公司的一个五端口GigE交换机，并最终将数据送至英特尔多核i7 PC。接下来，PC中的视觉检测软件将处理这五幅图像。
软件解决方案
整个视觉检测系统的软件组件是利用面向对象的C＃编程语言开发的。在实际检测过程中，软件组件计算食品罐在传送带上的位置、触发相机捕获食品罐的图像，并且计算是否发现有缺陷的食品罐。如果发现了有缺陷的食品罐，则将启动气动剔除系统，将有缺陷的食品罐从检测线中移走。
为了确定日期代码、标签和防伪印章的存在，该系统的图像处理组件包括用于每个检验程序的不同的C＃类。这些类从MVTec Software公司的HALCON集成开发环境（IDE）中调用图像处理例程，以执行特定的图像处理程序（见图3）。
图3：为了确定日期代码、标签和防伪印章的存在，该系统的图像处理组件包括用于每个检验程序的不同的C＃类。这些类从MVTec Software公司的HALCON集成开发环境（IDE）中调用图像处理例程，以执行特定的图像处理程序。
C＃编程能提供与类中特定操作相关联的图像处理例程的属性（例如对图像进行阈值操作的颜色值），以便通过一个也是用C＃编写的人机界面（HMI）接口组件显示给用户。这样一来，这些属性就能在图形用户界面内进行修改。
在执行适当的图像处理操作之前，要对系统进行培训，以便其能在一张图像中定位特定类型的食品罐。要做到这一点，首先要将一个食品罐放置在成像区域内并捕获其图像。然后，针对图像中从食品罐顶部到罐体的弯曲区域，创建出一个形状模型。该形状模型对于每种类型的食品罐而言都是独一无二的。随后，标签相对于该形状模型的位置信息，将被保存到系统数据库中（见图4）。
图4：针对图像中从食品罐顶部到罐体的弯曲区域的形状，创建一个形状模型保存到系统中。有了这个模型，视觉系统就可以确定标签、防伪印章和日期代码的位置。
在实际检验过程中，使用来自MVTec图像处理库的一种形状匹配算法，来识别相同的形状。然后，系统可以在图像中定位食品罐的具体位置。有了这个数据，就可以确定图像中需要贴标签的感兴趣区域的位置。
在设置过程中，针对标签颜色，系统还被授予一系列可接受的值。在实际检验过程中，图像中应该贴标签的区域，将使用一种色彩阈值算法进行处理，以确定是否该区域的颜色处于规定的公差范围内。
彩色Blackfly相机返回的是RGB值，随后这些值将被转换成HIS颜色空间进行处理。HSI颜色空间被认为是与人类如何感知颜色最为匹配的色彩空间。使用HSI通常更容易找到良好的阈值，尽管该系统也支持在RGB色彩空间设置阈值。
食品罐的防伪印章，通常是一个贴在罐子顶部和罐体上的彩色标签。为了确定防伪印章是否存在，该系统还采用了形状匹配技术来定位食品罐在图像中的位置。食品罐的位置确定后，软件便识别防伪印章可能被发现的感兴趣区域。然后，利用来自Halcon图像处理库的一种颜色阈值算法，用于去除处于规定颜色范围内的图像部分，使得颜色值在该范围之外的对象（如防伪印章）得以确定。
如同标签和防伪印章检验算法使用形状匹配算法来定位食品罐在图像中的位置一样，日期代码识别软件也采用了这种方法。有了这个位置数据后，系统能够识别图像中食品罐盖子上可能会印有日期代码的特定感兴趣区域。然后，再对图像使用一个局部颜色阈值算法，以从食品罐盖子的图像中提取出现的任何日期代码。接下来，系统便可以确定日期代码是否存在（见图5）。
图5：系统能够识别图像中食品罐盖子上可能会印有日期代码的特定感兴趣区域。然后，再对图像使用一个局部颜色阈值算法，以确定图像中是否存在日期代码。
来自每台相机的数据，被分配自己的线程用于图像处理。系统将根据需求自由分配这些线程到处理器的多个内核。此外，HALCON中的许多算法自动支持多核。
气动剔除
在视觉系统软件已经检验到一个食品罐是否具有日期代码、标签或防伪印章后，来自这三个检验过程的结果，将被C#系统软件的另一个组件所记录。如果这三个检验项目中有一个缺失，系统软件将利用来自光电反射传感器和编码器的数据，确定何时应该触发SMC公司的一组气动喷嘴，在不合格的食品罐离开视觉检验区域后从传送带上剔除。
如果视觉系统被触发，并且该软件未能在相机捕获的图像中找到任何产品，系统将自动启动剔除程序，认为检验到了一个不合格的产品。
为了确保没有错误的产品运送给客户，本系统采用了第二个光电反射传感器。如果一个被视觉系统确定为要剔除的食品罐继续在传送带上向下输送，这个光电反射传感器将被触发。这时，系统会向操作员发出警报，以提示需要人工干预，从生产线上剔除不合格的产品。
该系统使用定义了每种食品罐属性的特定形状模型，来识别几种不同类型的食品罐是否有缺陷。操作者可以通过HMI触摸屏界面重新配置参数，用于检验各种不同类型的产品。
除了识别不合格的食品罐外，该软件还保持了一个统计数据库，其可以向工厂操作员突出显示正在被剔除产品的类型（不管是因为缺失标签、防伪印章还是缺失日期代码）。它也产生关于生产过程中有多少个检验参数（如标签的颜色）处于规定范围内的数据，并且会生成Excel电子数据表文件，以便生产人员可以从系统中得到可视化的统计数据。
该系统还可以从运行的生产线中输出食品罐的图像，使得远程工作的工程师能够在系统操作过程中分析系统的有效性，并且执行任何可能需要的软件修改。
该系统还可以扩展用于执行不同的检验工作，如通过添加新的测量类来阅读日期代码。测量类可以使用之前测量的结果，因此，在用于识别日期代码是否存在的局部阈值测量中发现的区域，可以被传递到一个OCR测量类，用于读取代码。但是目前AAK并未考虑这种选择。
Adbro Controls公司在两个月的时间内，以低于40,000美元的成本为AAK公司开发出了这套基于视觉的Adbro检验系统，并安装在了AAK位于英国朗科恩的食品生产线中。目前，该系统正在以每分钟150个食品罐的速度在生产线中成功地执行着检验任务。
人工智能赛博物理操作系统
AI-CPS OS
“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。
AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。
领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：
重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？
AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：
精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。
AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：
创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。
给决策制定者和商业领袖的建议：
超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。
子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和 人工智能，像君子一般融合，一起体现科技就是生产力。
如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！
新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。
产业智能官 AI-CPS
用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
长按上方二维码关注微信公众号： AI-CPS，更多信息回复：
新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能金融”、“智能零售”、“智能驾驶”、“智能城市”；新模式：“财富空间”、“工业互联网”、“数据科学家”、“赛博物理系统CPS”、“供应链金融”。
官方网站：AI-CPS.NET
本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！
版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：[email protected]