友思特方案 | 3D点云实例分割现成算法模块助力实现自动化上下料应用

引言

全球范围内的大型汽车制造商和技术公司，以及一些专注于智能制造领域的创新企业，在3D视觉引导汽车部件自动化上下料项目方面都在进行研发和实践。国内外汽车制造行业，越来越多的企业开始采用3D视觉引导技术进行自动化上下料操作。

本文将介绍3D点云实例分割现成算法（Part Finder）模块，通过该算法模块的应用，基于友思特Ensenso的3D相机拍摄的物体点云以及纹理，能够将不同物体分割为独立的实例，准确识别部件的位置和方向，控制机器臂和其他设备动作，自动化上下料、分拣等系统的效率和准确性将得到显著提升。

01 算发模块的具体操作步骤

接下来，我们将为大家介绍应用Part Finder算法模块的具体操作步骤。

1.1 选择相机

选择并打开要在NxView SDK软件中使用的相机。在本文中，我们将使用我们SDK中的文件相机（无需接入真实的相机，直接通过我们提供的相机点云文件，即可读取由相机之前拍摄的图像）。

请注意，您需要使用 STL 或 PLY 模型，目前此两种模型均可以支持。

1.2 打开Part Finder模块

图1 打开Part Finder

如上图所示，使用菜单项打开Part Finder，点击工具，进一步可以找到Part Finder算法模块。

1.3 创建模型

我们必须先生成一个模型，然后才能使用它作为模板找寻相同的目标物。

选择一个 STL 或 PLY 文件，可以支持导入CAD模型。

如果您的模型是对称的或仅从某个方向观察，则可以相应地选择视角选项，可以根据应用场景的需要，也就是场景中定位工件的姿态来选择最优的视角来生成模型。这是可选的，但会提高在特定应用场景下的性能。现在我们将其保留为默认值。

您可以暂时将其他选项保留为其默认值。如果要试验这些不同的参数，请参阅我们所提供的SDK说明文档中的命令文档或工具提示，了解有关不同参数的作用的详细信息。

单击生成模型（Create Model），模型会被自动创建，进入下一步。

图2 在Part Finder中生成模型

 

1.4 实例分割，搜索目标物单体

切换到Part Finder对话框中的选项卡——“查找”

现在我们可以将大多数搜索参数保留为其默认值。对于本文场景下，我们必须减小或禁用最小假设得分参数，才能在 3D点云数据中查找模型的所有匹配项。如果不更改此参数，零件查找器将仅查找场景中的最佳匹配项。

单击开始搜索。搜索完成后，对话框将在结果选项卡中显示检测到的零件表。

图3 在Part Finder中搜索参数

图4 Part Finder的参数

 

检测到的零件也将在NxView SDK软件的3D视图中可视化。可视化效果的颜色表示匹配的覆盖范围。好的匹配将是绿色的，较差的匹配（例如某些部分被遮挡）将是橙色的。并且会生成总报表，将视野范围内所识别定位的所有工件列出来，包含识别分数、XYZ坐标姿态等信息。

图5 Part Finder的可视化结果

至此，透过我们的Part Finder算法功能模块，便可以找到3D相机视野下的每一个单独的目标物。除此之外，为了让用户能够将我们的点云实例分割部署到自己的应用中，我们会提供C++例程，让用户通过调用我们的SDK就可以将网络模型生成和搜索目标物的两个操作非常快速简易实现。

02 Part Finder的使用优势

1. 支持与友思特高精度Ensenso 双目散斑3D相机配合使用。

2. 快速生成模型和搜索匹配目标单体。

3. 在定位识别中可同时结合纹理和深度数据。

4. 可处理自相似零件方向。

5.支持处理球体、长方体等不同几何体类型。

6. 支持检测复杂的3D表面几何形状。

7. 支持识别带有纹理部件的不同姿态。

 

END

友思特·智能感知

虹科集团旗下子公司友思特是领先的智能感知与机器视觉解决方案提供商，致力于帮助各行业客户提高效率、改善生产质量。围绕智能制造、智能交通、医疗健康等领域，为用户提供视觉检测与识别、图像采集和FPGA图像处理，以及智慧交通、智慧城市等解决方案。

作为专业的智能感知与视觉解决方案提供商，我们可以为您提供以下产品和服务：

✓ 视觉检测和识别。

✓ 各具特点的3D相机。

✓ 图像采集与处理。

✓ 集成Nvidia边缘计算和高带宽采集接口的专业视觉边缘计算机。

✓ 适用于不同场景的雷达。

✓ 一站式打包视觉方案。

我们已经陆续完成了包括华为、三菱、南方电网等客户的自动驾驶传感器图像采集、高端机器人图像处理、工件质量识别等项目。详情请访问官网https://viewsitec.com/

获取电子版资料&咨询更多解决方案&探讨技术问题，欢迎添加下方友思特技术工程师微信！