电子信息科学与技术 6666666666 学生姓名: 指导教师:
地震、滑坡、泥石流等自然灾害已经严重影响和制约了人类社会经济的发展。灾后环境复杂,危险性很高,随时会发生次生灾害。这些问题都会阻碍灾后救援工作的顺利开展,基于此,设计一款基于红外热成像原理的智能生命探测机器人。机器人使用FLIR Lepton热成像摄像头采集红外热图像,OpenMV4作为处理核心提取图像特征。摄像头安装于二自由度云台上,轻松实现多方位探测。为实现远程监控,操控端可通过433M无线模块控制机器人运动,同时,机器人通过5.8G无线图传将红外热图像实时传输至监控端FPV屏幕。机器人的运动系统由麦克纳姆轮及减震结构组成,使其在救援工作中更加灵活、迅速。最后,使用MATLAB软件对生命探测机器人功能进行验证和仿真。对采集的原始红外图像进行非均匀性校正,图像特征提取,实现生命体与背景的分离。同时,利用MATLAB工具箱,对机器人智能避障算法进行仿真实验。调试与仿真实验结果表明,该生命探测机器人基本能够完成目标任务,为今后的实验研究和技术的改进奠定了基础。
关键词:生命探测机器人;红外热成像;麦克纳姆轮;智能避障
Earthquake, landslide, debris flow and other natural disasters have seriously affected and restricted the development of human society and economy. After the disaster, the environment is complex and the risk is high, and secondary disasters will occur at any time. All these problems will hinder the smooth development of the disaster rescue work. Based on this, an intelligent life detection robot based on the principle of infrared thermal imaging is designed. The robot uses FLIR lepton thermal imaging camera to collect infrared thermal images, and openmv4 as the processing core to extract image features. The camera is installed on a two degree of freedom platform, which can easily realize multi-directional detection. In order to realize remote monitoring, the control terminal can control the robot movement through 433M wireless module. Meanwhile, the robot transmits the infrared thermal image to the FPV screen of the monitoring terminal in real time through 5.8G wireless image transmission. The robot’s motion system is composed of mcnami wheel and damping structure, which makes it more flexible and rapid in the rescue work. Finally, the function of life detection robot is verified and simulated by MATLAB software. The nonuniformity correction and the feature extraction of the original infrared image are carried out to separate the living body and the background. At the same time, matlab toolbox is used to simulate the robot intelligent obstacle avoidance algorithm. The results of debugging and simulation experiments show that the life detection robot can basically complete the target task, which lays a foundation for future experimental research and technical improvement.
Key words: life detection robot; infrared thermal imaging; mcnamm wheel; intelligent obstacle avoidance
地震、矿井事故等,灾难的现场往往存在高温辐射,有毒气体等情况,甚至像天津爆炸事故可能发生二次灾害。救援人员第一时间无法知道灾难现场是否有遇难者或无法确定遇难者准确位置及周围环境,从而可能延误了最佳救援时间。现需要设计一款智能生命探测机器人,可深入灾后第一现场,为救援工作探明情况,对于避免或减少营救人员的伤亡,提高救援效率具有非常重要的意义。
美国和日本等发达国家率先对生命探测机器人开展研究工作,现已有多家高校和研究机构研发了针对不同用途的生命探测及救援机器人。我国在此领域的起步较晚,研究情况落后于世界先进水平。但是国内外所研究的探测机器人,距离实际应用的要求还差得很远,存在着通讯距离短,避障及越障性能一般,伴有浓烟或粉尘浓度较高环境便无法确定幸存者准确位置等技术问题。
智能生命探测机器人方案设计框图如图1所示,整个系统分为三部分组成,分别为红外热成像部分、机器人主控部分、机器人遥控部分。热成像部分,控制核心为OpenMV4 H7对采集的热图像进行特征提取,选用FLIR Lepton 3.5红外摄像头采集红外图像,为实现远程监控,热图像通过5.8G无线图传模块实时传输至远程FPV显示器。机器人主控部分,选用STM32F405为处理核心,采集及处理传感器信息,控制机器人的运动系统,与机器人遥控之间通过433M无线模块实现数据通信。
图1 智能生命探测机器人方案设计框图
本设计的主要内容包括三部分:智能生命探测机器人的硬件设计,程序设计及MALTAB对红外图像处理算法的仿真。
硬件设计部分,包括热成像摄像头电路,机器人主控电路,遥控控制电路,分别包括硬件总体方案的设计、主控芯片的选择、所涉及智能传感器的选型、系统电源电路、电机驱动电路、用于调试的显示电路设计。程序设计部分,包括机器人的主控部分程序设计:电机驱动程序、传感器数据的采集程序和处理程序、无线通信程序等;红外热成像部分程序设计:红外热图像采集程序、热图像特征提取程序、5.8G实时无线图像传输程序等;遥控部分程序设计:无线数字传输程序、推杆及按键控制程序、陀螺仪传感器数据采集及处理程序。MATLAB仿真部分包括了对采集的红外图像进行特征提取,对红外图像处理算法进行仿真和改进,对机器人智能避障算法的仿真。
红外图像的处理为本设计的核心,由于非制冷型红外探测摄像头的非均匀性和机器人的特殊工作环境,需对采集的红外图像进行非均匀性校正和去噪处理,然后对图像进行特征提取,分离生命体和背景。采用改进的BP神经网络算法对原始红外图像进行非均匀性校正,利用MATLAB软件模拟噪声,并设计去噪算法,为了使探测目标更加明显,对去噪图像做图像增强处理,最后使用Sobel算子进行边缘检测,实现目标与背景分离。
硬件设计部分完成了三块电路板的制作,分别为机器人主控板、电机驱动板、机器人遥控板。软件部分完成机器人运动系统控制程序、遥控控制程序、红外图像采集程序和热图像特征提取程序。MATLAB仿真部分完成原始红外图像的非均匀性校正,图像滤波和图像增强处理及热图像的边缘提取。
如图2所示,对原始图像进行灰度化处理,然后加入椒盐噪声和高斯噪声,分别利用中值滤波和均值滤波对加噪图像进行滤波处理,采用直方图均衡化算法对去噪图像进行图像增强处理。
图2 红外图像处理结果图
经过图像处理,对图像的边缘和灰度跳跃部分进行增强,使图像清晰,为后续的图像边缘提取做了充足的准备。如图3所示,用MATLAB软件编写6种算子处理图像算法,分别对增强图像进行边缘检测。
图3 边缘检测结果对比图
通过对比六种边缘检测算子的处理效果,可以看出log算子和Canny算子较适合此红外图像的边缘检测处理,数学形态学方法效果更好,把背景图像的边缘也进行了勾勒,所以,真正运用到机器人上,数学形态学方法可能更适合,根据不同的情境,同样也需要其他算法配合使用,对红外图像进行处理,有待继续完善。
调试与仿真实验结果表明,该生命探测机器人基本能够完成目标任务。所采集红外热图像,在实验室模拟噪声添加后,进行图像特征提取,生命体与背景分界线明显,可实现灾后环境的生命体探测。虽然智能生命探测机器人还存在着一些缺陷,但是基本达到了预期的设计目标,为今后的实验研究和技术的改进奠定了基础。 在具体设计过程中,我还遇到了很多问题,经过不断努力,困难被一点点克服。通过本次毕业设计,我不仅更加熟悉了工程系统的设计步骤和方法,从应用的角度掌握了许多图像处理和机器人控制方面的科学技术知识,还更明确了怎样思考、优化时间、高效做事的基本原则。
本次毕业设计给了我很多新的认识,磨练了我的意志,不只是一个工程设计的学习过程,更是我以前学习成果的检验,也为我以后的学习和工作提供了一些宝贵的经验。
[1] 程佩. 智能探测机器人系统设计[D].哈尔滨工程大学,2013.
[2] 宁玮喆. 基于激光雷达的移动探测机器人的设计[D].山东大学,2018.
[3] Alex Ellery.Environment robot interaction the basis for mobility in Planetary micro-rovers(J).Robotics and Autonomous Systems,2004,7(5):1-10
[4] 孙涛. 基于红外热成像的生命探测系统[D].燕山大学,2011.
[5] Teleoperation of a Mobile Robot Using a Force-Reflection Joystick With Sensing Mechanism of Rotating Magnetic Field,2010, 15(1)
[6] 王锋. 井下探测机器人通信及音视频系统应用研究(D).山东大学硕士学位论 文.2009.5:2-3.
[7] 魏钜熔. 环境探测机器人运动性能仿真平台设计(D). 西安电子科技大学硕士学 位论文.2010.1:3-4.
[8] 曹彦鹏, 许宝杯, 何泽威,等. 红外热成像信号处理技术的研究进展[J]. 振动,测试与诊断, 2018, 038(002).
[9] Vollmer M,Mollmann K P.Infrared thermal imaging (J).European Journal of Physics,2010,32(5):8-25.
[10] 许志影,李晋平.MATLAB 及其在图像处理中的应用[J].计算机与现代化,2003(4):64-65.
[11] 蓝杰, 张浩然. 基于BP神经网络二维码区域提取[J]. 微型机与应用, 2015(1):50-52.