DeepStream框架整理
一、官方文档
官方文档链接：https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_Overview.html#deepstream-graph-architecture
二、整体架构
三、模块分析
DeepSream提供超过15种以上的GStreamer插件模块，以此建造一个高效的视频分析管道（Pipeline）。
1. 视频流，可以是本地文件、RTSP流或者直接通过camera相机，流的获取是通过CPU的。帧（frames）在缓存（memary）通过NVDEC算子来解码（decode），用到Gst-nvvideo4linux2插件。
2. 解码，可以选择图像的预处理，预处理包括图像矫正（dewap）、颜色空间转换（BGR2GRAY），分别用到Gst-nvdewarper插件和Gst-nvvideoconvert插件，他们都是在GPU进行的。
3. 批处理帧，用到Gst-nvstreammux插件。
4. 推理，批处理完的帧后进行推理，使用TensorRT、NVIDIA的实时推理加速用到本地的TensorFlow或者pytorch框架上。TensorRT推理用到Gst-nvinfer插件，Triton推理用到Gst-nvinferserver 插件，推理过程用到GPU或者DLA（Deep Learning accelerator）在Jetson AGX Xavier and Xavier NX上。
5. 目标跟踪，推理完之后使用目标跟踪，在SDK中有几个内置的跟踪器，表现还是很棒的，用到的插件是Gst-nvtracker。
6. 可视化构件，目标跟踪后，创建可视化构件，比如包围框、分割的掩膜和标签。可视化用到Gst-nvdsosd插件。
7、输出，DeepStream提供多种输出方式，可以直接渲染（render）包围框在屏幕上，也可以保存到本地磁盘，也可以输出RTSP视频流、也可以发送数据到云端。Gst-nvmsgconv插件提供输出负载，Gst-nvmsgbroker插件提供连接云端。
四、样例
deepstream-test1：单路视频和产生包围框
deepstream-test2：基于test1添加了检测对象的分类
deepstream-test3：基于test1添加多路视频的输入
deepstream-test4：基于test1添加了loT的连接插件nvmsgbroker plugin
更多样例：
C++样例：C/C++ Sample Apps Source Details
Python样例：Python Sample Apps Source Details
C++样例中test5：
目录：apps/sample_apps/deepstream-test5
说明：
新增了能够连接云端和输入RTSP流的功能。
Use of Gst-nvmsgconv and Gst-nvmsgbroker plugins in the pipeline for multistream
How to configure Gst-nvmsgbroker plugin from the config file as a sink plugin (for KAFKA, Azure, etc.)
How to handle the RTCP sender reports from RTSP servers or cameras and translate the Gst Buffer PTS to a UTC timestamp.
For more details refer the RTCP Sender Report callback function test5_rtcp_sender_report_callback() registration and usage in deepstream_test5_app_main.c. GStreamer callback registration with rtpmanager element’s “handle-sync” signal is documented in apps-common/src/deepstream_source_bin.c
输出RTSP流
1.deepstream-test1-rtsp-out
目录：apps/deepstream-test1-rtsp-out
说明：Simple test application 1 modified to output visualization stream over RTSP.
2. deepstream-test4
目录：apps/deepstream-test4
说明：
Builds on deepstream-test1 for a single H.264 stream: filesrc, decode, nvstreammux, nvinfer, nvdsosd, renderer to demonstrate how to:
Use the Gst-nvmsgconv and Gst-nvmsgbroker plugins in the pipeline
Create NVDS_META_EVENT_MSG type metadata and attach it to the buffer
Use NVDS_META_EVENT_MSG for different types of objects, e.g. vehicle and person
Implement “copy” and “free” functions for use if metadata is extended through the extMsg field