关于视觉装置、ROS、机械臂之间的通信和系统协调

一、视觉检测装置与ROS实现通信
采用Movidius神经计算棒实现视觉检测装置基于ROS的实现与封装。轻松地将深度学习技术引入项目,和其他ROS节点无缝连接。
技术背景:
英特尔在2017年发布了Movidius神经计算棒,与英特尔Movidius神经计算棒一同发布的还有NCSDK和NCAppZoo,为用户在Movidius 神经计算棒之上开发各自的应用提供了良好的软件支持。
NCSDK目前提供了C和Python两种语言的编程的接口,通常应用开发者通过调用这些接口就能操作NCS做深度学习方面的图像预测工作。然而,机器人研究领域广泛采用ROS框架,这一框架下的各个应用通常采用消息(message)和话题(topic)的方式进行通信。
在这种特殊情况下,机器人应用开发者不得不对NCSDK做进一步的封装才能使其无缝工作在ROS系统中。
针对NCSDK到ROS系统的衔接问题,我们提出并实现了一种基于ROS系统的对NCSDK的封装。该项目目前已经在github上面开源。
主体由一个ROS发布节点和一个ROS服务节点组成,以适应不同的应用场景。ROS发布节点用于处理来自相机的视频流数据,预测结果以消息(message)的形式发布到相应的话题(topic)中,供上层应用调用。ROS服务节点用于处理单张图片数据,预测结果直接返回给上层消费服务的节点做进一步处理。为了更好的演示这两个节点的使用方法,我们还开发了多个客户端节点,最终处理结果会以图像的形式展现出来。
通过以上基于ROS系统的对NCSDK的封装。我们可以把视觉检测装置上任何视频、图片、位置信息等一切消息转换成ROS节点,通过节点发布ROS消息到相应主题,实现通信。如此一来,任何视觉检测装置的消息处理和通信都变成了ROS系统内的节点通信。

二、ROS与UR10通信,并在RVIZ上控制UR10。
1、首先导入UR10的URDF文件到ROS系统,建立三维仿真模型。
2、通过UR10在ROS系统下建立的安装库实现TCP协议通信
此时你就会看到RVIZ中的UR10机械臂和实物的状态是一致的,拖动UR10机械臂实物,在RVIZ里的机械臂也会跟着运动。此时,你可以在RVIZ中用鼠标拖动机械臂到达目标位置,在planing下点击plan,你就会看到UR10实物也会跟着运动到目标点。

三、视觉检测装置、ROS、机械手协调工作
1、视频流、图像以及其他进程的处理结果的显示
在基于ROS系统的对NCSDK的封装过后,生成的一系列ROS节点信息进行编程,实现对节点的操作,最终作为ROS系统下的程序输出即是基于ROS系统的对NCSDK的封装过后的相应的功能显示效果。(例如缺陷检测、目标识别、定位信息等)
2、机械手的运动控制和路径规划处理
(1)在基于ROS系统的对NCSDK的封装过后在ROS系统下获得的物体空间位置节点信息之后,将获得的空间位置节点传递给MoveIt模块进行运动规划。从而控制机械手的运动。
(2)ROS下机械手的路径规划问题:ROS为机械臂控制提供了强大的集成功能包,即Movelt,他涉及运动规划、碰撞检测、机械手抓取等领域。机械臂运动时根据具体的作业任务要求,轨迹规划需要在关节空间或者在笛卡尔坐标系下进行,给定起点和终点,特点情况下还需要给定关键点或者其他路径约束条件。采用基于随机采样的运动规划算法库OMPL完成轨迹规划,避开障碍物和自身干涉等碰撞状态。现在在笛卡尔坐标系下面进行运动规划,通过机器人逆运动学计算其转化为关节空间下的表示,Movelt默认用KDL库通过数值迭代算法求解逆运动学问题。

你可能感兴趣的:(Linux,/,ROS)