ORK包的安装与linemod算法识别测试 （使用kinect v2 出现很奇怪的问题和解决）

 

上一段时间安装测试了linemod的ROS程序包，跑了一下，使用的是kinec v2  ，安装过程也是很麻烦，出现了很怪异的问题，具体据说是因为kinect的分辨率问题导致的，实际上还有一个因为mesa库的问题导致的。具体看下面吧～

安装过程主要是参考了

https://blog.techbridge.cc/2016/05/14/ros-object-recognition-kitchen/

http://wg-perception.github.io/ork_tutorials/tutorial03/tutorial.html#setup-the-working-environment

http://wg-perception.github.io/object_recognition_core/install.html#install 官方教程

这两个教程，ORK Object Recognition Kitchen 物体识别程序包，里面集成了很多物体识别的C++开源算法，我们主要是使用目前效果较好，较为常用的linemod算法。主要看一下这个包的安装过程与配置。我使用的是源代码安装的过程，推荐源安装，因为到最后，确实出现了问题，在修改了源代码之后，才解决问题。

1.在catkin_ws/src下建立ORK包，并cd进入其中，执行：

git clone http://github.com/wg-perception/object_recognition_core

git clone http://github.com/wg-perception/capture

git clone http://github.com/wg-perception/reconstruction

git clone http://github.com/wg-perception/linemod

git clone http://github.com/wg-perception/ork_renderer

git clone http://github.com/wg-perception/tabletop

git clone http://github.com/wg-perception/tod

git clone http://github.com/wg-perception/transparent_objects

2.安装关于ROS的东西

git clone http://github.com/wg-perception/object_recognition_msgs

git clone http://github.com/wg-perception/object_recognition_ros

git clone http://github.com/wg-perception/object_recognition_ros_visualization

3.推到catkin_ws执行catkin_make 注意最好先执行

rosdep check --from-paths /home/zzurobotics/catkin_ws/src/ork --ignore-src

rosdep install --from-paths /home/zzurobotics/catkin_ws/src/ork --ignore-src

会自动检查相关程序包的依赖关系，并且安装。

出现错误的时候，只要再次输入catkin_make 执行编译，就会继续进行下去,如果有些错误始终存在，就需要执行上面的两句话了。

Linemod算法程序包是一个相对独立的程序包，需要单独安装一下，但是安装之后，根据指令启动之后，并不能使用，表现是，电脑变得很卡，然后终端抛出错误，节点终止。总共出现的问题有两个

这是第一个，解决之后，会出现第二个

问题1的原因是关于mesa库的问题导致的，简单给出解决方法是，修改ork_renderer程序包中的CMakeList.txt文件。将mesa的方法替换为GLUT

之后再编译就行了，参考https://github.com/JimmyDaSilva/ork_renderer/commit/4bdd53e3c418e7d02be0212ece04598619b4323a

问题2的原因是因为kinectV2的特殊分辨率导致的，具体的修改办法是

参考 https://github.com/wg-perception/linemod/issues/28，这个问题需要修改linemod程序包的源文件，以及linemod包中conf文件夹下的training.ork配置文件，修改如下所示

至此，就能正常运行linemod算法了。

使用linemod算法步骤：上面的步骤完成之后，还不能用，他只是装好了ork相关的东西，但是linemod算法是基于模板匹配的算法，所以可以想到，肯定要有一个已知的模型，而且好要针对它进行训练才可以识别。

首先安装模板对比库

sudo apt-get install couchdb

添加可乐罐模型

rosrun object_recognition_core object_add.py -n "coke " -d "A universal can of coke" --commit

点击下面链接查看模型是否建立和物体的ID编号http://localhost:5984/_utils/database.html?object_recognition/_design/objects/_view/by_object_name

上面只是建立了编号，还没有模型，现在要指定并提供模型文件,下载官方的教程包，里面有一个可乐罐的stl模型。

git clone https://github.com/wg-perception/ork_tutorials

cd .. && catkin_make

向数据库添加模型

rosrun object_recognition_core mesh_add.py 0be612246c9b0a00baaa4adefb0009eb /home/rosindigo/catkin_ws/src/ork_tutorials/data/coke.stl --commit

1.启动kinect驱动节点

roslaunch kinect2_bridge kinect2_bridge.launch publish_tf:=true reg_method:=opencl     //启动kinect节点

2.映射话题节点

rosrun topic_tools relay /kinect2/qhd/image_depth_rect /camera/depth_registered/image_raw

rosrun topic_tools relay /kinect2/qhd/image_color_rect /camera/rgb/image_rect_color

rosrun topic_tools relay /kinect2/qhd/camera_info /camera/rgb/camera_info

rosrun topic_tools relay /kinect2/qhd/camera_info /camera/depth_registered/camera_info

rosrun topic_tools relay /kinect2/qhd/points /camera/depth_registered/points

rosrun tf static_transform_publisher 0 0 0 0 0 0 kinect2_ir_opticalrame camera_depth_optical_frame 40

3.启动识别节点

rosrun object_recognition_core detection -c  `rospack find object_recognition_linemod`/conf/detection.ros.ork

4.启动rviz

最终识别结果中可乐罐位姿和实际位置有偏差，并且不断在跳跃，不知道为什么，在网上查到很多人都有这个问题，不知道是不是和kinect内参标定有关系，但是可以看到识别的可信度一直在93%左右。

 

我也贴上我的节点图

也可以参考这位同学的

https://blog.csdn.net/weixin_40799950/article/details/81911877