DeepStream进阶插件之路
一、DeepStream的gst插件
gst插件，即GStreamer插件，是用于实现DeepStream功能嵌入GStreamer编解码流程使用。
GStreamer插件:
GStreamer是用于插件，数据流和媒体类型处理/协商的框架。它用于创建流媒体应用程序。插件是在运行时动态加载的共享库，可以独立扩展和升级。当安排并链接在一起时，插件形成处理流水线，该流水线定义了流媒体应用程序的数据流。您可以通过其广泛的在线文档，从“什么是GStreamer？”开始了解有关GStreamer的更多信息。
开源GStreamer插件：
- GstFileSrc-从文件中读取数据：视频数据或图像。
- GstH264Parse-解析传入的H264流。对于H265编解码器，请使用H265Parse。
- GstRtpH264Pay-将H264编码的有效负载转换为RTP数据包（RFC 3984）。
- GstUDPSink-将UDP数据包发送到网络。与RTP有效负载（GstRtpH264Pay）配对时，它可以实现RTP流。
- GstCapsFilter-在不修改数据的情况下限制数据格式。
- GstV4l2Src-从v4l2设备捕获视频。
- GstQTMux-将流（音频和视频）合并到QuickTime（.mov）文件中。
- GstFileSink-将传入数据写入本地文件系统中的文件。
- GstURIDecodeBin-将数据从URI解码到原始媒体中。它选择可以处理给定“ uri”方案的源元素，并将其连接到解码器。
DeepStream的gst插件:
除了在GStreamer框架库中提供的开源插件之外，DeepStream SDK还包括利用GPU功能的NVIDIA硬件加速插件。有关DeepStream GStreamer插件的完整列表，请参见《 NVIDIA DeepStream插件手册》。
NVIDIA硬件加速插件：
- Gst-nvstreammux-在发送AI推理之前批处理流。
- Gst-nvinfer-使用TensorRT运行推理。
- Gst-nvvideo4linux2-使用硬件加速解码器（NVDEC）解码视频流；使用硬件加速编码器（NVENC）将I420格式的RAW数据编码为H264或H265输出视频流。
- Gst-nvvideoconvert-执行视频颜色格式转换。Gst-nvdsosd插件之前的第一个Gst-nvvideoconvert插件将流数据从I420转换为RGBA，Gst-nvdsosd插件将Gst-nvdsosd插件将数据从RGBA转换为I420。
- Gst-nvdsosd-绘制边界框，文本和关注区域（ROI）多边形。
- Gst-nvtracker-跟踪帧之间的对象。
- Gst-nvmultistreamtiler-从批处理缓冲区合成2D切片。
- Gst-nvv4l2decoder-解码视频流。
- Gst-Nvv4l2h264enc-编码视频流。
- Gst-NvArgusCameraSrc-提供使用Argus API控制ISP属性的选项。
DeepStream SDK
NVIDIA DeepStream SDK是基于开源GStreamer多媒体框架的流分析工具包。DeepStream SDK加快了可伸缩IVA应用程序的开发速度，使开发人员更容易构建核心深度学习网络，而不必从头开始设计端到端应用程序。包含NVIDIA Jetson模块或NVIDIA dGPU适配器的系统均支持该SDK。它由可扩展的硬件加速插件集合组成，这些插件与低级库进行交互以优化性能，并定义了标准化的元数据结构，可实现自定义/用户特定的添加。
有关DeepStream SDK的更多详细信息和说明，请参考以下材料：
NVIDIA DeepStream SDK开发指南
NVIDIA DeepStream插件手册
NVIDIA DeepStream SDK API参考文档
二、官方插件
通过gst命令可以查看到有很多nvidia官方插件：
nvidia@nvidia-desktop:~/projects/deepstream-test1-app_toson/build$ gst-inspect-1.0 -a |grep NVIDIA
dsexample: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
dsexample: Description NVIDIA example plugin for integration with DeepStream on DGPU
dsexample: Binary package NVIDIA DeepStream 3rdparty IP integration example plugin
nvof: Author NVIDIA Corporation. Post on Deepstream for Jetson/Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvof: Description NVIDIA opticalflow plugin for integration with DeepStream on DGPU
nvof: Binary package NVIDIA DeepStream 3rdparty IP integration opticalflow plugin
nvinfer: Author NVIDIA Corporation. Deepstream for Tesla forum: https://devtalk.nvidia.com/default/board/209
nvinfer: Description NVIDIA DeepStreamSDK TensorRT plugin
nvinfer: Binary package NVIDIA DeepStreamSDK TensorRT plugin
nvmultistreamtiler: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvmultistreamtiler: Description NVIDIA Multistream Tiler plugin
nvmultistreamtiler: Binary package NVIDIA Multistream Plugins
nvdewarper: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvsegvisual: Author NVIDIA Corporation. Post on Deepstream for Jetson/Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvsegvisual: Description NVIDIA segmentation visualization plugin for integration with DeepStream on DGPU
nvsegvisual: Binary package NVIDIA DeepStream Segmantation Visualization Plugin
nvdsosd: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvmsgconv: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvofvisual: Author NVIDIA Corporation. Post on Deepstream for Jetson/Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvofvisual: Description NVIDIA opticalflow visualization plugin for integration with DeepStream on DGPU
nvofvisual: Binary package NVIDIA DeepStream Optical Flow Visualization Plugin
nvmsgbroker: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvstreamdemux: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvstreamdemux: Description NVIDIA Multistream mux/demux plugin
nvstreamdemux: Binary package NVIDIA Multistream Plugins
nvstreammux: Author NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvstreammux: Description NVIDIA Multistream mux/demux plugin
nvstreammux: Binary package NVIDIA Multistream Plugins
nvtracker: Author NVIDIA Corporation. Post on Deepstream SDK forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvv4l2decoder: Long-name NVIDIA v4l2 video decoder
三、开源插件源码
请参阅官方文档：https://docs.nvidia.com/metropolis/deepstream/dev-guide/DeepStream%20Development%20Guide/deepstream_custom_plugin.html#wwpID0E0TB0HA
了解到有几个插件源码，大部分都未开源，暂时可以从仅有的插件入手，如果不能支持则需要自己写插件就比较繁琐了。
deepstream开源插件在目录：/opt/nvidia/deepstream/deepstream-4.0/sources/gst-plugins/
nvidia@nvidia-desktop:/opt/nvidia/deepstream/deepstream-4.0/sources/gst-plugins$ ls
gst-dsexample gst-nvinfer gst-nvmsgbroker gst-nvmsgconv
我们可以先从dsexample开始：
/opt/nvidia/deepstream/deepstream-4.0/sources/gst-plugins/gst-dsexample/gstdsexample.cpp
gst-dsexample插件的描述：
GStreamer示例插件（gst-dsexample）演示了以下内容：
- 处理整个帧，并根据需要进行缩小/颜色转换。
- 处理主要检测器检测到的对象，特别是从帧中裁剪这些对象，然后进行裁剪。
请参阅官方文档：https://docs.nvidia.com/metropolis/deepstream/dev-guide/DeepStream%20Development%20Guide/deepstream_custom_plugin.html#wwpID0E0TB0HA
可以使用命令行简单测试：
#----------------------- use dsexample plugin -----------------------
# use mp4 files
gst-launch-1.0 filesrc location=/opt/nvidia/deepstream/deepstream-4.0/samples/streams/sample_720p.mp4 ! qtdemux ! h264parse ! nvv4l2decoder ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 height=720 ! nvvideoconvert ! dsexample full-frame=1 ! nvdsosd ! nvegltransform ! nveglglessink
# use rtsp camera
gst-launch-1.0 rtspsrc latency=2000 location="rtsp://admin:[email protected]:554/cam/realmonitor?channel=1&subtype=0" ! rtph264depay ! h264parse ! nvv4l2decoder ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 height=720 ! nvvideoconvert ! dsexample full-frame=1 ! nvdsosd ! nvegltransform ! nveglglessink
结果：
（如图，画了2个固定不动的框，不明白在表达什么，可以从gstdsexample.cpp里去了解，我正在研究中。）
四、我的研究之路
1. nvidia官网教程
《使用NVIDIA DeepStream构建实时修订应用程序》：
《Building a Real-time Redaction App Using NVIDIA DeepStream, Part 1: Training》
《Building a Real-time Redaction App Using NVIDIA DeepStream, Part 2: Deployment》
在Part 1中，学习如何使用ResNet34骨干训练RetinaNet网络以进行对象检测。这包括使用容器，准备数据集，调整超参数以及训练模型。
在Part 2中，学习如何构建和部署基于AI的实时应用程序。该模型使用DeepStream SDK 部署在NVIDIA Jetson驱动的AGX Xavier边缘设备上，以实时编辑多个视频流上的人脸。
PS：遗憾的是我没有完成调试，没有环境训练，并且由于得不到part1中的onnx模型文件，所以part2也未能完成。
注：part2中编译/opt/nvidia/deepstream/deepstream-4.0/sources/apps/retinanet_for_redaction_with_deepstream的时候，有一个坑，需要修改Makfile:47行：
增加库-lgstrtp-1.0
2. deepstream源码例程
问了相关人员，暂时未能了解到其他的学习资源，所以还是回到deepstream源码例程中去研究。
objectDetector_SSD例程：
源码路径：/opt/nvidia/deepstream/deepstream-4.0/sources/objectDetector_SSD
方法请查阅README。
该例程需要安装tensorflow：For Jetson, refer to https://elinux.org/Jetson_Zoo#TensorFlow
并且下载：http://download.tensorflow.org/models/object_detection/ssd_inception_v2_coco_2017_11_17.tar.gz
$ cd ssd_inception_v2_coco_2017_11_17
$ python /usr/lib/python2.7/dist-packages/uff/bin/convert_to_uff.py \
frozen_inference_graph.pb -O NMS \
-p /usr/src/tensorrt/samples/sampleUffSSD/config.py \
-o sample_ssd_relu6.uff
再将得到的sample_ssd_relu6.uff模型文件复制到README目录。
编译并运行：
# 需要指定cuda版本
$ export CUDA_VER=10.0
$ make -C nvdsinfer_custom_impl_ssd
$ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \
decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \
height=720 ! nvinfer config-file-path= config_infer_primary_ssd.txt ! \
nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink
# 或者：
$ deepstream-app -c deepstream_app_config_ssd.txt
objectDetector_Yolo例程：
源码路径：/opt/nvidia/deepstream/deepstream-4.0/sources/objectDetector_Yolo
方法请查阅README。
需要先下载yolo模型文件：$ ./prebuild.sh
（注：其中下载了有yolo-v2、yolo-v2-tiny、yolo-v3、yolo-v3-tiny，根据自己的需要可以关闭不需要的下载）
根据README修改配置文件config_infer_primary_yolo[...].txt。