使用realsense D435i实现机械臂对物体的自动抓取总结

1、开发环境搭建

---

Intel RealSense D435环境搭建之安装pyrealsense2

ModuleNotFoundError: No module named 'apt_pkg' on Ubuntu_秃头小宝贝ec的博客-CSDN博客

https://blog.csdn.net/weixin_45861610/article/details/118991062

Jupyter Notebook安装（Windows）_NickHan_cs的博客-CSDN博客_jupyter notebook 安装

出现No module named 'yaml'错误解决办法_恋上树的猫咪的博客-CSDN博客

Python--pip install opencv无法安装的解决办法_酸爽宝的博客-CSDN博客_pip安装opencv失败

Open3d之python版本快速安装和使用_ancy_i_cv的博客-CSDN博客_python 安装open3d

2、相机标定 

---

 Intel RealSense D435i:简介、安装与使用(ROS、Python) (zhaoxuhui.top)

利用ROS的Camera Calibration工具进行相机标定(USB相机与D435i) (zhaoxuhui.top)

3、手眼标定

---

【手眼标定】ros / easy_handeye + ur5 + realsense d435i - 知乎 (zhihu.com)

        由于排爆机器人的工业机械臂初步设定只抓取地面的物体，并且机械爪始终与地面保持垂直，所以只是用到相机标定即可。估计出物体在相机坐标系的位姿后，利用相对位姿和机械臂的相对运动进行抓取工作。realsense d435i的深度范围在0.28-3米，如果机械臂的绝对定位精度准确，物体的位姿准备，则一次运动即可完成物体的抓取。否则会用到N次直到距离上不能采集到物体的深度信息，也就不能估计出物体的位姿，来进行伺服视觉的的闭环抓取工作。

 4、物体检测识别

---

介绍

基于ROS机器人的3D物体识别与三维重建(一) 介绍篇_Ray Song的博客-CSDN博客_机器学习 物体识别

机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划 - 腾讯云开发者社区-腾讯云 (tencent.com)

 find_object_2d功能包效果测试

D435物体检测识别find_object_2d_巧夺天工2018的博客-CSDN博客

Ros中使用find_object_2d快速实现物体的检测识别_berry丶的博客-CSDN博客

一起做ROS-DEMO系列 (2):基于find_object_2d的目标匹配识别 - 知乎 (zhihu.com)

 物体跟踪效果测试

ROS-机器视觉 ④：物体跟踪 - 古月居 (guyuehome.com)   物体跟踪不满足物体识别要求

 ORK三维物体识别效果测试

ros ork包github源码下载不了问题解决方案 - 知乎 (zhihu.com)

UR5e+3D物体检测与识别（ORK）+Realsense D453i - 知乎 (zhihu.com)

ROS中的物体识别——ORK功能包的使用_EaSon王同学的博客-CSDN博客_ork识别

ROS kinetic + Realsens D435i + ORK + LINEMOD 物体识别 - Hongkai_Ding - 博客园 (cnblogs.com)

ROS IntelRealSenseZR300 PCL+ORK+Linemod 柱状物体检测 机械臂抓取 系列第二篇 - 古月居 (guyuehome.com)

问题解决 

ORK包的安装与linemod算法识别测试 （使用kinect v2 出现很奇怪的问题和解决）_hymwgk的博客-CSDN博客_ork算法

解决ORK(Object Recognition Kitchen)的Web UI 无法显示3D模型的问题_爱学习的草莓熊的博客-CSDN博客

D435、linemod实现三维物体检测与识别_巧夺天工2018的博客-CSDN博客