友思特分享｜不用3D点云，如何实现精准的物体识别与抓取？

摘要

面对技术变革的挑战，友思特 IDS相机以其卓越的图像识别和高速处理技术，为制造业提供了前沿的自动化解决方案。即使在复杂的光线条件下，友思特 IDS相机也始终保持稳定高效的表现。选择友思特，让您的生产力迈向更高峰，为企业带来无与伦比的竞争优势！

产品信息

友思特 IDS uEye XCP相机 

 

本文解决方案所使用型号：

U3-3680XCP

详细信息请参考：https://viewsitec.com/products/cameras/ueye/

一、制造业的挑战与转型

制造业目前面临许多挑战。为应对技术变革、环境挑战和全球化，制造业必须进行一系列调整，例如投资新技术、节约资源以及优化和保障供应链。在全球范围内运营的公司必须面对不断变化的环境，同时管理供应链中的问题。企业越来越倾向于将生产转移回本土市场。要提高本国制造的竞争力，企业不仅需要具备足够的韧性，还需要遵守严格的环境法规和实现成本效益战略，此外，还必须克服人员瓶颈。长时间以来，通过机器人实现自动化就成为重要驱动力，人工智能（AI）正在发挥越来越关键的作用。实现自动化的压力与日俱增，而机器人技术与之同步发展。要将AI技术真正融入企业生产流程，就需要尽可能简化AI集成过程，并缩短培训阶段，这两点至关重要。

二、AI自动化解决方案的创新

友思特致力于为制造业中的各种机器人应用提供全面AI解决方案，且重视提高组装任务或仓库物流的效率。解决方案能够处理快速货箱拣货或取放、实现机器零件的精确进料以及完成材料处理的不同工作步骤。这一系统易于集成，由一个机械臂模块、一个预装智能软件的计算单元和一个相机模块组成，每个相机模块都配备了两台友思特 uEye+ XCP相机。

图1  一个机械臂在两台友思特IDS相机帮助下定位和抓取零件

 

“相机的任务是拍摄一张包含待处理物体的区域照片。根据记录，软件可以分析场景并识别物体的确切位置。”友思特 IDS相机团队表示。其核心组件可以进一步处理图像，这是一款专门开发的自学习软件，用于预测零件的位置及其拾取点。该软件以AI为基础处理图像匹配任务，不再需要经典的3D点云。AI可以根据模拟数据实现独立学习，并极其精确地定位排除点和组件。用于零件识别和与机器人通信的AI模型由强大的GPU（图形处理单元）控制。该软件能够快速学习：“使用我们的软件包，系统可以在两到五分钟内定义新零件的选择点并配置应用。”友思特团队强调。

三、友思特相机的参与和配置

所采用的相机模块配备了两个节省空间的友思特XCP工业相机。两台友思特 IDS相机根据立体视觉原理，从不同视角提供物体场景的图像。挑战在于如何根据这些图像尽可能准确地确定要抓握的零件的位置。这一任务又一次落在AI的肩上。图像采集、AI模型和特殊图像处理相结合，可以非常精确地确定记录点和位置。3D货箱拾取的标准CAD应用通常使用结构光或传感器来实现这一点，它们在环境中投影，创建一个点云，然后尝试在其中找到零件。但在这里，我们并没有使用3D相机，而是使用了两台标准的友思特 IDS工业相机。

友思特 IDS相机参与解决方案的精度小于1毫米，这远高于竞争对手的系统。系统可以可靠检测各种零件，即使面对有光泽、反光或透明的零件也能顺利检测，这些情况往往是传统机器视觉系统的瓶颈。同时，它不受外部光线条件变化的影响。相机是这一解决方案的关键组件。它速度很快，推理时间仅需不到170毫秒，而同类解决方案通常需要1000毫秒以上。快速计算可以使货箱拾取装置的循环时间缩短到两到三秒。这确保了单次传送执行精准高效。而这又使得该系统成为目前市场上速度最快的AI图像识别系统之一。

图2  机械臂上的两台IDS相机提供图像，以便系统使用智能软件快速准确地进行进一步处理

 

SuperSpeed USB 5 Gbps相机在这一方面贡献尤为突出，即使应用的环境光线暗淡或光照条件不断变化，这款相机也能可靠提供高分辨率数据，用于详细的图像评估。相机所集成的传感器（1/2.5英寸504万像素的滚动快门CMOS传感器 onsemi AR0521）采用BSI(“背面照明”)像素技术，可以提供稳定的弱光性能，在近红外(NIR)范围的灵敏度也很高，因此友思特 uEye XCPs几乎在任何照明情况下都能提供高质量图像，而像素噪声很低。USB3 XCP配备小巧轻便的全外壳（29 x 29 x 17毫米，61克）和可旋紧USB Micro-B接头，特别适合与自动化领域的机器人和协作机器人结合使用。

友思特 XCP相机采用USB3，并兼容视觉标准(U3V / GenICam)，因此可以轻松集成到任何图像处理系统中，几乎可以与各种配套软件一起使用。标准接口大大方便了集成：根据客户的要求，我们在系统中使用不同友思特 IDS相机。由于相机采用标准化接口，我们可以快速部署各种uEye型号相机。友思特 IDS产品组合中的各种相机与流行的镜头兼容，有助于最大限度提高产能。

由于配备了强大的友思特 IDS相机和智能软件，此系统速度极快、受关照条件影响小、组件带宽很高，所以特别适合生产环境中的自动化任务。

此外，该3D视觉系统集成简便，这也大大提高了效率。这一智能3D视觉系统可以在没有任何实际机器人训练的情况下立即投入使用，与传统方法相比，这大大提高了应用速度。因此，公司可以快速获得自动化带来的好处：自动化使运营更加高效、竞争力更强、更可持续，从而节约资源和成本，同时提高产品质量和员工安全性。

图3 强大的CPU控制AI模型，用于零件识别和与机器人的通信

四、应用前景

AI在机器人领域的应用仍处于初级阶段。由于需求不断增长，AI图像处理领域发展空间广阔，数据传输速率更高、传感器更快更大的相机将上市，此外还会推出具有可靠基本功能而价格更为低廉的型号。工业相机越来越小，价格也越来越便宜。这将推动更多应用问世。

我们的愿景是赋予机器人与人类同等水平的能力。如果AI驱动的机器人可以完成单调的重复性任务，企业就可以将人力资源分配到更具创造性、更高效和更有价值的任务。

END

扫描上方客服二维码 ⇧
快速了解产品信息

友思特·智能感知

虹科集团旗下子公司友思特是领先的智能感知与机器视觉解决方案提供商，致力于帮助各行业客户提高效率、改善生产质量。围绕智能制造、智能交通、医疗健康等领域，为用户提供视觉检测与识别、图像采集和FPGA图像处理，以及智慧交通、智慧城市等解决方案。

作为专业的智能感知与视觉解决方案提供商，我们可以为您提供以下产品和服务：

✓ 视觉检测和识别。

✓ 各具特点的3D相机。

✓ 图像采集与处理。

✓ 集成Nvidia边缘计算和高带宽采集接口的专业视觉边缘计算机。

✓ 适用于不同场景的雷达。

✓ 一站式打包视觉方案。

我们已经陆续完成了包括华为、三菱、南方电网等客户的自动驾驶传感器图像采集、高端机器人图像处理、工件质量识别等项目。详情请访问官网 https://viewsitec.com/

获取电子版资料&咨询更多解决方案&探讨技术问题，欢迎添加下方友思特技术工程师微信！