40.Isaac教程--3D 物体姿态优化

3D 物体姿态优化

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html

3D 物体姿态优化在操作等应用中起着至关重要的作用，在这些应用中，检测到的物体的位置会影响机器人的整体性能。 Isaac SDK 中的 3D 对象姿势优化应用程序提供了测试和运行优化算法的框架。

本应用中使用的算法基于迭代最近点 (ICP) 算法。 它使用 Rusinkiewicz 的对称 ICP 工作，其中，对于给定的表面 P 和 Q，使用具有两个表面法线的对称函数而不是将表面视为点和平面来更稳健地确定点到平面误差。

应用概述

运行应用程序

Isaac SDK 提供示例应用程序以在 RGBD 数据上运行 3D 对象姿态优化。 每个示例应用程序在 RGB 图像上运行对象检测和对象姿态估计，同时在 RGBD 图像上生成超像素。 生成的 surflets 在 surflet 对象分配模块中被分配对象 ID。 这些子模块的输出被作为输入，经过优化以匹配模型到测量的 surflets，并生成最终的精细姿态作为输出。

姿势优化应用程序文件位于 packages/object_pose_refinement/apps 中。

1. 要使用 RealSense 相机运行姿态优化，请使用以下命令：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_refinement/apps:pose_refinement_camerafeed -- --config packages/object_pose_refinement/apps/pose_refinement_dolly.config.json --more
packages/object_pose_estimation/apps/pose_cnn_decoder/detection_pose_estimation_cnn_inference_dolly.config.json

2. 要对以前收集的日志运行重放，请使用以下命令：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_refinement/apps:pose_refinement_replay -- --config
packages/object_pose_refinement/apps/pose_refinement_dolly.config.json --more
packages/object_pose_estimation/apps/pose_cnn_decoder/detection_pose_estimation_cnn_inference_dolly.config.json

3. 要对静态图像运行姿态优化，请使用以下命令：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_refinement/apps:pose_refinement_imagefeed -- --config packages/object_pose_refinement/apps/pose_refinement_dolly.config.json --more
packages/object_pose_estimation/apps/pose_cnn_decoder/detection_pose_estimation_cnn_inference_dolly.config.json

提供了 dolly 对象的示例数据，允许您使用日志和图像运行最后两个应用程序。 您可以在 http://localhost:3000 的 Sight 中可视化精致的姿势。

可视化

精致姿势有两种可视化类型：

• 一个 3D 边界框，需要指定零方向的 3D 边界框大小和从对象中心到边界框中心的转换。 在应用程序文件的 viewers/ObjectRefinementViewer 组件中配置这些参数。

• 场景中 CAD 模型的渲染，需要对象 CAD 模型的路径和文件名。 这些分别对应于应用程序文件中 websight 组件中的 assetroot 和 assets 参数。

在 object_pose_refinement.object_pose_refinement.PoseRefinement 中还提供了用于调试的可视化。 它允许您在 Sight 中可视化优化步骤，包括以下内容：

• Measurement surflets(generated by superpixels)

• Model surflets (loaded via the cask file)

• 3D pose estimate positon of surflets

• 3D refined position of surflets

更多精彩内容:
https://www.nvidia.cn/gtc-global/?ncid=ref-dev-876561