【2021研电赛】基于EAIDK-310的行人识别和红绿灯识别小车by IFIC_Team

本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力，更有重磅电子产品免费领取!

团队介绍

参赛单位：西安交通大学
参赛队伍：IFIC_Team
指导教师：司刚全教授
参赛队员：李荆辉 王宁 童道心

1.作品简介

近年来，随着汽车行业的快速发展和汽车保有量的持续增长，人们对于汽车的功能要求也越来越高。因此，智能化作为汽车的主要发展趋势，受到越来越多厂商的关注，智能行车辅助系统作为智能化汽车的重要组成，已经成为各大汽车厂商的研究重点。本项目基于硬件平台EAIDK-310，设计了一套智能行车辅助系统，该系统能完成行人识别与红绿灯识别功能，并被应用于小车。在硬件上采用上位机与下位机配合控制的方式，上位机主要完成图像的采集、识别并向下位机发送指令；下位机主要任务是根据上位机传输的指令控制小车进行运动。上位机和下位机间通过SPI方式进行通讯。

具体来说就是:上位机使用opencv库中的函数进行图像采集与预处理，使用深度学习算法中的YOLO系列算法作为目标识别算法，使用EAIDK-310搭载的Tengine框架对算法网络进行部署，在边缘端实现实时的目标识别并生成决策发送至下位机。下位机一方面接收蓝牙指令控制小车正常行驶，模拟驾驶人驾驶；一方面使用SPI通讯中断接收上位机指令，辅助小车行驶，对小车的电机及舵机控制驱动通过定时器产生对应的PWM信号来实现。

2.作品创新

本作品有两个创新点：
1.使用深度学习算法代替传统的机器学习算法对目标进行识别，识别精度更高，泛化性更好
2.对传统的YOLOv3深度学习网络进行了数据类别与网络层上的改进，提升了识别的精度，降低了网络模型的大小，提升了识别的速度，使得系统的实时性增强，解决了EAIDK-310算力不够的问题。
小组将改进的YOLOv3算法与传统的YOLOv3算法、HOG+SVM算法以及霍尔圆检测算法进行了测试，对多项重要数据进行了比较，验证了本作品的改进YOLOv3算法具有识别速度更快、泛化性更强、精度更高的优点。

3.作品方案

算法介绍

改进的yolov3算法做目标检测，可以检测到行人和红绿灯。改进的yolov3算法结构图如下图。

检测到红绿灯目标后，需要判断它的灯光颜色。具体操作如下：
1.将图片从RGB空间转换至HSV空间；
2.图像阈值化处理；
3.计算处理后图像中零值即红色像素点的个数。

硬件设计

如下图所示，是本小组作品的硬件方案框架图，整个框架可以分为上位机、下位机和电源三个部分。

上位机部分由EAIDK-310开发板与摄像头组成。其中EAIDK-310开发板是ARM企业命题指定使用的核心开发板，它是基于RK3228H处理芯片设计的面向边缘计算的人工智能开发套件。摄像头是一个USB接口且免驱动的工业摄像头。
下位机部分由以STM32F103C8T6芯片为核心的控制模块、蓝牙模块、电机驱动模块、两个电机和一个舵机组成。
电源部分由12V锂电池与电压转换模块组成，功率为1500mAh，电压转换模块的输入为12V，输出为3.3V、5V与12V。

软件流程

目标检测流程图如下图所示：

目标检测效果展示：

4.未来展望

• 目前仅实现行人识别与红绿灯的识别，对于交通标识、车道线等其他交通
• 目前深度学习网络运算数均为32位浮点数，可以将其向16位数及8位数转换，进一步降低网络大小，提升运算速度。
• 目前小车仅有前置摄像头，无法获取行车的其他信息，可以增加小车的传感器种类及数量，获取更多信息，综合分析，完善智能行车辅助系统。

更多研电赛作品请查看2021年研电赛获奖作品合集