Days 24 Elfboard 读取摄像头视频进行目标检测

当前，将AI或深度学习算法（如分类、目标检测和轨迹追踪）部署到嵌入式设备，进而实现边缘计算，正成为轻量级深度学习算法发展的一个重要趋势。今天将与各位小伙伴分享一个实际案例：利用ChatGPT在ELF 1开发板上成功部署深度学习模型的项目，该项目能够实时读取摄像头视频流并实现对画面中的物体进行精准的目标检测。

项目所需的硬件设备：1、基于NXP（恩智浦）i.MX6ULL的ELF 1开发板，2、网线，3、USB摄像头。

获取开发板摄像头文件路径

本次项目开发使用的为普通的USB摄像头，将摄像头插在开发板任一USB口均可。

在Linux开发板中使用USB摄像头，通常会涉及到一些基本的命令行操作。这些操作主要是通过 Video4Linux (V4L2)内核框架API进行的。以下是一些常用的命令和概念：

1. 列出所有摄像头设备: 使用 ls /dev/video* 命令可以列出所有已连接的视频设备。这些设备通常显示为 /dev/video0 , /dev/video1 等。如下图，开发板中对应的摄像头为/dev/video2（插入哪个USB口都是一样的）。

2. 查看摄像头信息: 使用v4l2-ctl --all -d /dev/video2可以查看特定摄像头（例如/dev/video2）的所有信息，包括支持的格式、帧率等。可以看到图象尺寸为640×480， 为了和后续的目标检测输入图像大小匹配，需要在程序中进行resize。

编写程序，读取取摄像头视频进行检测

并传递检测结果到上位机

编写在开发板中运行的程序，开发板中运行的程序主要有两个功能：

1. 读取摄像头捕捉的视频并进行检测

2. 将检测结果通过网络通信传递到上位机中

首先是第一个功能，因为一边要读取视频，一边要进行图片检测，为了提高检测速度，使用多线程来编写相应的程序。线程间通讯采用队列，为避免多线程间的竞态，在访问共享资源时需要添加互斥锁。

第二个功能，采用socket通信，将检测后的图像发送到上位机中即可。

下面是完整的程序实现：

/*命名为 squeezenetssd_thread.cpp */
#include "net.h"
#include
#include
#include
#include
#include
#include
#include
#include
#include
/*增加多线程代码*/
#include
#include
#include
#include
/*队列通信，全局变量*/
std::queue frameQueue;
std::mutex queueMutex;
std::condition_variable queueCondVar;
bool finished = false;
const size_t MAX_QUEUE_SIZE = 2; // 设为两个，因为检测速度实在太慢，多了意义不大
struct Object {
cv::Rect_ rect;
int label;
float prob;
};
ncnn::Net squeezenet;
int client_sock;
static int detect_squeezenet(const cv::Mat& bgr, std::vector