C++项目笔记--基于TensorRT搭建一个YoloV5服务器

目录

1--项目描述

2--项目地址

3--编译运行

4--测试结果

5--补充说明


1--项目描述

① 基于 C/S 模型来构建 TCP 服务器和 TCP 客户端。

② 使用 Epoll 来监控服务器和客户端之间的连接。

③ 服务器和客户端约定使用相同的数据传输协议,头部分别使用 4 个字节来表示图片的宽,高和大小。

④ 创建两个读线程来接收客户端的数据,并采用 least connections 算法来实现两个读线程的负载均衡。

⑤ 创建一个可变参数的线程池,读线程接收数据后将图片传入工作线程中,工作线程对图片进行模型推理。

⑥ 工作线程基于 TensorRT 推理框架来加载 YoloV5 推理引擎进行模型推理,并将推理结果发送回客户端。

2--项目地址

基于TensorRT搭建一个YoloV5服务器

C++项目笔记--基于TensorRT搭建一个YoloV5服务器_第1张图片

3--编译运行

mkdir build && cd build
cmake ..
make
./server 9190
./client 127.0.0.1 9190

4--测试结果

C++项目笔记--基于TensorRT搭建一个YoloV5服务器_第2张图片

5--补充说明

后续将补充数据库的功能,以及支持更多的模型推理;

你可能感兴趣的:(TensorRT学习笔记,网络编程笔记,模型部署学习笔记,YOLO)