[C#]C#使用yolov8的目标检测tensorrt模型+bytetrack实现目标追踪

【测试通过环境】

win10 x64
vs2019
cuda11.7+cudnn8.8.0
TensorRT-8.6.1.6
opencvsharp==4.9.0
.NET Framework4.7.2

NVIDIA GeForce RTX 2070 Super

版本和上述环境版本不一样的需要重新编译TensorRtExtern.dll，TensorRtExtern源码地址：TensorRT-CSharp-API/src/TensorRtExtern at TensorRtSharp2.0 · guojin-yan/TensorRT-CSharp-API · GitHub

Windows版 CUDA安装参考：Windows版 CUDA安装_win cuda安装-CSDN博客

【特别注意】

tensorrt依赖不同硬件需要自己从onnx转换tensorrt，转换就是调用api实现，比如

TensorRtSharp.Custom.Nvinfer.OnnxToEngine(@"C:\Users\Administrator\Desktop\yolov8n.onnx",1024);

【视频演示和解说】

使用C#使用yolov8的目标检测tensorrt模型+bytetrack实现目标追踪_哔哩哔哩_bilibili测试环境：win10 x64vs2019cuda11.7+cudnn8.8.0TensorRT-8.6.1.6opencvsharp==4.9.0.NET Framework4.7.2特别注意：环境一定要对上，否则无法正常运行，具体可以参考我的博客和录制视频。博客地址：blog.csdn.net/FL1623863129/article/details/139303900, 视频播放量 10、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 1、转发人数 0, 视频作者 未来自主研究中心, 作者简介 未来自主研究中心，相关视频：使用C#部署yolov8-seg的实例分割的tensorrt模型，使用C#部署yolov8的旋转框obb检测tensorrt模型，碉堡了！YOLOV10重磅开源：延迟比v9减少46%；参数量比v8少2.8倍（包含YOLO全家桶），使用纯opencv部署yolov8目标检测模型onnx，labelme json转yolo工具用于目标检测训练数据集使用教程，将yolov5-6.2封装成一个类几行代码完成语义分割任务，将yolov8封装成一个类几行代码完成语义分割任务，C++使用纯opencv去部署yolov8官方obb旋转框检测，【讲人话版】Yolov10来的太快，不过没关系，半小时带你看懂Yolo家族史！，C# winform部署yolov10的onnx模型https://www.bilibili.com/video/BV1y7421d7vj/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee

【部分实现源码】

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using FIRC;
using OpenCvSharp;
using TrtCommon;
using TensorRtSharp;
using TensorRtSharp.Custom;
using System.Diagnostics;

namespace WindowsFormsApp1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
          
        }

        private void button2_Click(object sender, EventArgs e)
        {
            TensorRtSharp.Custom.Nvinfer.OnnxToEngine(@"yolov8n.onnx",1024);
        }

        private void button3_Click(object sender, EventArgs e)
        {
          
            Yolov8Det detector = new Yolov8Det("yolov8n.engine");
            VideoCapture capture = new VideoCapture("D:\\car.mp4");
            if (!capture.IsOpened())
            {
                Console.WriteLine("video not open!");
                return;
            }
            var tracker = new ByteTracker((int)capture.Fps, 30);
            Mat frame = new Mat();
            var sw = new Stopwatch();
            int fps = 0;
            while (true)
            {

                capture.Read(frame);
                if (frame.Empty())
                {
                    Console.WriteLine("data is empty!");
                    break;
                }
                sw.Start();
                List detResults = detector.Predict(new List { frame });

                List track = new List();
                Track temp;
                foreach (var r in detResults)
                {
                    RectBox _box = new RectBox(r.datas[0].box.X, r.datas[0].box.Y, r.datas[0].box.Width, r.datas[0].box.Height);
                    temp = new Track(_box, r.datas[0].score, ("label", r.datas[0].index), ("name", r.datas[0].lable));
                    track.Add(temp);
                }

                var trackOutputs = tracker.Update(track);

                foreach (var t in trackOutputs)
                {
                    Rect rect = new Rect((int)t.RectBox.X, (int)t.RectBox.Y, (int)t.RectBox.Width, (int)t.RectBox.Height);
                    //string txt = $"{t["name"]}-{t.TrackId}:{t.Score:P0}";
                    string txt = $"{t["name"]}-{t.TrackId}";
                    Cv2.PutText(frame, txt, new OpenCvSharp.Point(rect.TopLeft.X, rect.TopLeft.Y - 10), HersheyFonts.HersheySimplex, 1, Scalar.Red, 2);
                    Cv2.Rectangle(frame, rect, Scalar.Red, thickness: 2);
                }

                sw.Stop();
                fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds);
                sw.Reset();
                Cv2.PutText(frame, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3);
                //显示结果
                Cv2.ImShow("Result", frame);
                int key = Cv2.WaitKey(10);
                if (key == 27)
                    break;
            }

            capture.Release();
        }
    }
}

【演示源码下载地址】https://download.csdn.net/download/FL1623863129/89374495

注意源码提供上面对应环境的dll，只需要安装上面一样cuda+cudnn和tensorrt版本即可正常运行。如果您不安装一样版本不能正常运行。此时需要重新编译TensorRtExtern.dll，此外由于tensorrt依赖硬件不一样电脑可能无法共用tensorrt模型，所以必须要重新转换onnx模型到engine才可以运行。