【2021研电赛】基于EAIDK-310的行人识别和红绿灯识别小车by IFIC_Team

本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力,更有重磅电子产品免费领取!

团队介绍

参赛单位:西安交通大学
参赛队伍:IFIC_Team
指导教师:司刚全教授
参赛队员:李荆辉 王宁 童道心

1.作品简介

近年来,随着汽车行业的快速发展和汽车保有量的持续增长,人们对于汽车的功能要求也越来越高。因此,智能化作为汽车的主要发展趋势,受到越来越多厂商的关注,智能行车辅助系统作为智能化汽车的重要组成,已经成为各大汽车厂商的研究重点。本项目基于硬件平台EAIDK-310,设计了一套智能行车辅助系统,该系统能完成行人识别与红绿灯识别功能,并被应用于小车。在硬件上采用上位机与下位机配合控制的方式,上位机主要完成图像的采集、识别并向下位机发送指令;下位机主要任务是根据上位机传输的指令控制小车进行运动。上位机和下位机间通过SPI方式进行通讯。

具体来说就是:上位机使用opencv库中的函数进行图像采集与预处理,使用深度学习算法中的YOLO系列算法作为目标识别算法,使用EAIDK-310搭载的Tengine框架对算法网络进行部署,在边缘端实现实时的目标识别并生成决策发送至下位机。下位机一方面接收蓝牙指令控制小车正常行驶,模拟驾驶人驾驶;一方面使用SPI通讯中断接收上位机指令,辅助小车行驶,对小车的电机及舵机控制驱动通过定时器产生对应的PWM信号来实现。

2.作品创新

本作品有两个创新点:
1.使用深度学习算法代替传统的机器学习算法对目标进行识别,识别精度更高,泛化性更好
2.对传统的YOLOv3深度学习网络进行了数据类别与网络层上的改进,提升了识别的精度,降低了网络模型的大小,提升了识别的速度,使得系统的实时性增强,解决了EAIDK-310算力不够的问题。
小组将改进的YOLOv3算法与传统的YOLOv3算法、HOG+SVM算法以及霍尔圆检测算法进行了测试,对多项重要数据进行了比较,验证了本作品的改进YOLOv3算法具有识别速度更快、泛化性更强、精度更高的优点。

3.作品方案

算法介绍

改进的yolov3算法做目标检测,可以检测到行人和红绿灯。改进的yolov3算法结构图如下图。
在这里插入图片描述

检测到红绿灯目标后,需要判断它的灯光颜色。具体操作如下:
1.将图片从RGB空间转换至HSV空间;
2.图像阈值化处理;
3.计算处理后图像中零值即红色像素点的个数。

硬件设计

如下图所示,是本小组作品的硬件方案框架图,整个框架可以分为上位机、下位机和电源三个部分。
【2021研电赛】基于EAIDK-310的行人识别和红绿灯识别小车by IFIC_Team_第1张图片

上位机部分由EAIDK-310开发板与摄像头组成。其中EAIDK-310开发板是ARM企业命题指定使用的核心开发板,它是基于RK3228H处理芯片设计的面向边缘计算的人工智能开发套件。摄像头是一个USB接口且免驱动的工业摄像头。
下位机部分由以STM32F103C8T6芯片为核心的控制模块、蓝牙模块、电机驱动模块、两个电机和一个舵机组成。
电源部分由12V锂电池与电压转换模块组成,功率为1500mAh,电压转换模块的输入为12V,输出为3.3V、5V与12V。

软件流程

目标检测流程图如下图所示:

【2021研电赛】基于EAIDK-310的行人识别和红绿灯识别小车by IFIC_Team_第2张图片

目标检测效果展示:
【2021研电赛】基于EAIDK-310的行人识别和红绿灯识别小车by IFIC_Team_第3张图片

4.未来展望

  • 目前仅实现行人识别与红绿灯的识别,对于交通标识、车道线等其他交通
  • 目前深度学习网络运算数均为32位浮点数,可以将其向16位数及8位数转换,进一步降低网络大小,提升运算速度。
  • 目前小车仅有前置摄像头,无法获取行车的其他信息,可以增加小车的传感器种类及数量,获取更多信息,综合分析,完善智能行车辅助系统。

更多研电赛作品请查看2021年研电赛获奖作品合集

你可能感兴趣的:(IC技术竞赛作品分享,计算机视觉,YOLO)