往期回顾:
RT-Thread智能车目标识别系统连载教程——手写体识别模型 (1)
这应当是 RT-Thread 搭配 ROS 做摄像头小车的最后一篇文档了,这篇文档会把之前的内容汇聚起来,实现一个能目标检测的小车。
先总结一下之前几篇文档的内容:
这篇文档几乎涉及了之前所有文档的内容,所以建议在看这篇文档之前先熟悉一下之前提到的内容。如果对之前的内容比较熟悉了,就会发现这篇文档很简短,但是却是建立在之前已有的基础上。
现在应当已经熟悉的内容:
了解 CNN 的工作原理;
能使用 Darknet 训练自己的目标检测模型
能用 rosserial 建立 RT-Thread 和 ROS 的连接
能用 ROS 发布图像信息
下面就会介绍如何用 ROS 发布的图像信息和 Darknet 连接做目标检测。
1.Darknet ROS
1.1 获取源码
其实下面要用到的是一个 ROS 软件包,这个软件包现在也是开源的:
1# 初始化工作环境
2$ mkdir catkin_workspace
3$ cd catkin_workspace/src
4$ catkin_init_workspace
5
6## 下载源码
7$ git clone --recursive http://github.com/leggedrobotics/darknet_ros.git
除了源码,我们还要下载一些训练好的神经网络权值,放在下面这个目录:
1$ catkin_workspace/src/darknet_ros/darknet_ros/yolo_network_config/weights/
如果觉得国外下载速度太慢的话,这里我有个国内的 CDN 加速镜像:
yolov2-tiny.weights:https://wuhanshare-1252843818.cos.ap-guangzhou.myqcloud.com/yolov2-tiny.weights
yolov2.weights:https://wuhanshare-1252843818.cos.ap-guangzhou.myqcloud.com/yolov2.weights
yolov3.weights:https://wuhanshare-1252843818.cos.ap-guangzhou.myqcloud.com/yolov3.weights
如果源码和权值都下载好了,我们就可以准备编译了。
1.2 编译源码
为了保证 Darknet 能够获取到摄像头的数据,我们需要先告诉它摄像头的信息发布在哪里,修改这个文件:
1$ catkin_workspace/src/darknet_ros/darknet_ros/config/ros.yaml
把下面的 topic 修改为自己图像发布的位置,例如我这里发布在 /usb_cam/image_raw
1camera_reading:
2 topic: /usb_cam/image_raw
3 queue_size: 1
然后就可以编译软件包了,在 catkin_workspace 目录下:
1$ catkin_make
一切正常的话,编译就完成了,其实不需要做太多的工作,编译完记得更新一下环境变量,这样后面才能正常启动这个软件包。
1$ sorce devel/setup.bash
在进行目标检测前,我们先启动 ROS 节点:
1$ roscore
然后启动一个摄像头节点:
1roslaunch usb_cam usb_cam-test.launch
这样就可以实时看到摄像头的数据了,摄像头在哪里其实不重要,既可以在小车上,也可以在电脑上,这也是 ROS 的优美之处,只要节点发布了摄像头消息,不管摄像头在哪, ROS 都能拿到处理:
接下来我们启动 Darknet 的节点:
1$ roslaunch darknet_ros darknet_ros.launch
下面这张图就可以看到有两个视频流,左边的是没有处理的实时图像,右边是运行了目标检测的结果:
RT-Thread 作为实时操作系统负责控制,Linux 则负责提供丰富的软件包运行算法,两者相结合,互相取长补短还是配合地挺好的。
Darknet ROS:https://github.com/leggedrobotics/darknet_ros
RT-Thread线上/下活动
1、【RT-Thread开发者大会报名】 2019年RT-Thread开发者大会将登入成都、上海、深圳与开发者们见面,还有RT-Thread在中高端智能领域的应用、一站式RTT开发工具、打造IoT极速开发模式等干货演讲,期待您的参与!本次大会也设立了codelab动手实验室活动,开发者可在现场体验RT-Thread给开发带来的便捷!
立即报名
2、双十一返场优惠,仅限今日!凡是11月12日期间在淘宝@睿赛德运营店购买柿饼派和麻雀板即享包邮及降价优惠!
柿饼派购买链接(请复制至外部浏览器打开):https://item.taobao.com/item.htm?id=586627082894
淘口令(请复制全部红字后打开TB):【柿饼Pie 柿饼GUI 智能屏 非串口屏 RTThread GUI 显示屏模组 4.3】https://m.tb.cn/h.eHwNeVQ?sm=0abbfd 嚸↑↓擊鏈﹏接,再选择瀏覽→噐咑№亓;或復zんíゞ这句话₴d46RYFbqHAb₴后咑閞綯℡寳
麻雀1号购买链接(请复制至外部浏览器打开):https://item.taobao.com/item.htm?id=606684373403
淘口令(请复制全部红字后打开TB):【BK7252 麻雀1号 麻雀一号 开发板】https://m.tb.cn/h.eHwMXIF?sm=c499fc 嚸↑↓擊鏈ㄣ接,再选择瀏覽→噐咑ぺ鐦;或復ず■淛这句话¢g2fUYFbJvyQ¢后咑閞淘宀┡ē
#题外话# 喜欢RT-Thread不要忘了在GitHub上留下你的STAR哦,你的star对我们来说非常重要!链接地址:https://github.com/RT-Thread/rt-thread
你可以添加微信17775983565为好友,注明:公司+姓名,拉进 RT-Thread 官方微信交流群
RT-Thread
让物联网终端的开发变得简单、快速,芯片的价值得到最大化发挥。Apache2.0协议,可免费在商业产品中使用,不需要公布源码,无潜在商业风险。
长按二维码,关注我们
点击“阅读原文”报名线下培训/开发者大会