NVIDIA deepstream 6.0 python apps 样例test1模型代码解读
硬件：NVIDIA Jetson Xavier NX developer kit
Jetson版本：4.6.1
deepstream版本：6.0.1
test1是deepstream提供的最基础的模型，实现对视频流进行目标检测。新手入门，有很多代码与函数不清楚有何含义，故参考了网站各类介绍，可搭配文末的参考文章一起阅读。
1. 代码解读
代码共260行，为方便查看，将代码分为几部分。其中标注有？为不确定的内容，欢迎前辈指教。
1.1 许可声明与python包导入
SPDX：Software package data exchange 软件包数据交换 标准
涉及的python包：sys, gi, common, pyds。sys包请参考文末学习，后3个包建议在系统中查找学习(没搜索到，进一步查找后会更新新文章讲述)。
sys: 涉及系统交互的包，功能如获取文件所在路径，系统硬件状态，输出与报错等。参考文章于文末，本代码中涉及的函数有sys.exit(
gi: 简单理解为能将c与python等语言搭建起桥梁的包。一般复杂模型在基层会采用c/c++编写，因为这两种能与系统/硬件直接相连，编译速度快，而更高层的模型用c编写会特别麻烦，采用python等语言会带来极大便利。gi包则是提供了模型基层和高层不同代码之间连接的桥梁。本代码中涉及的函数有require_version(), Glib, Gst 。
common: common为deepstream_python_apps提供的模型通用包，位于与模型文件夹同一层级的文件夹中，即deepstream/apps/ 。本代码中涉及的函数有is_aarch_64(), bus_call() 。
pyds: Gstreamer框架下为deepstream构建的python包，用于视频流分析。本代码中涉及的函数有gst_buffer_get_nvds_batch_meta(), NvDsFrameMeta.cast(), NvDsObjectMeta.cast(), nvds_acquire_display_meta_from_pool() 。
#!/usr/bin/env python3 #运行环境要求使用python3运行？
################################################################################
# 英伟达公司与附属公司，版权所有。
# SPDX-FileCopyrightText: Copyright (c) 2019-2021 NVIDIA CORPORATION & AFFILIATES. All rights reserved.
# 许可证标识符
# SPDX-License-Identifier: Apache-2.0
# 根据Apache许可证获得许可
# Licensed under the Apache License, Version 2.0 (the "License");
# 除非符合许可证，否则不得使用此文件。
# you may not use this file except in compliance with the License.
# 你可以在下述网站获得一份许可证的备份
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# 除非适用法律要求或书面同意，否则根据许可证分发的软件按“原样”分发，无任何明示或暗示的保证或条件。
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# 请参阅许可证，了解管理许可证下权限和限制的特定语言。
# See the License for the specific language governing permissions and
# limitations under the License.
################################################################################
import sys #导入sys包
#系统路径指python安装/运行所在路径，为列表，添加../路径(向上一层文件夹)
sys.path.append('../') #什么作用？
import gi #导入GObject Introspection包
gi.require_version('Gst', '1.0') # ??
from gi.repository import GLib, Gst # ??
# 引入函数，功能为判断系统是否为arm64架构，这将影响部分代码的运行
from common.is_aarch_64 import is_aarch64
# 引入函数，功能为
from common.bus_call import bus_call
import pyds # 导入pyds包
#对4种目标赋予编号：车辆-0，自行车-1，人-2，路标-3
PGIE_CLASS_ID_VEHICLE = 0
PGIE_CLASS_ID_BICYCLE = 1
PGIE_CLASS_ID_PERSON = 2
PGIE_CLASS_ID_ROADSIGN = 31.2 osd_sink_pad_buffer_probe(pad,info,u_data)函数
函数译为OSD接收器垫缓冲探针，理解为缓冲区中以OSD方式存储的探针metadata元数据？。其中osd为对象存储，简单理解为一种metadata的存储架构方式onscreen display，即显示器上的展示；sink为接收端？，接收视频源数据metadata？；pad为垫/缓冲器单元？；buffer为缓冲区；probe为探针，类似于但不完全等同训练集的概念。以上概念可通过文末参考文章进一步了解。
功能：实现检测结果展示功能，将模型检测好的目标定界框与类别名称展示在视频中，并在terminal中按帧输出检测结果（在第n帧检测到了x个目标，其中a个车辆，b个行人）？
输入：pad，info，u_data
输出：视频和terminal中输出目标检测结果，return结果为OK（仅代表该函数运行完成，无实意）
在阅读代码前，还请学习了解以下的概念：
frame意为帧，即视频帧，我们看到的视频流都是每隔△t就播放一帧，可以理解成视频就是将一系列图片（帧）按照一定时间序列播放的，有过剪辑视频经验的对此不难理解。
batch意为一批/一束，可以理解为把某种东西包装在一起，比如将100朵玫瑰捆绑在一起。
meta/metadata意为元/元数据，即基础单元数据，视频流处理中的基本单元为帧，元数据即每一帧的图片以及一些属性信息，形式上可以通过 meta.
调用。 batch metadata 意为批量元数据，即将所有的metadata包装在一起，视频流处理中的基本单元为帧，理解为所有帧的数据包装在了一起。
garbage collector即垃圾回收器，清理不用的变量或内存空间，以腾出内存提高代码运行效率。
该函数的逻辑可以这样理解：视频有许多帧，需要循环处理，而每一帧的图片中又有许多检测到的目标，也需要循环处理，所以会形成双层循环，第一层循环的单元是帧，第二层循环的单元是每一帧的目标。每层循环的内容基本是这样的流程：获取数据→转化数据（使其符合deepstream）→实现功能。第一层要实现的功能是获取当前帧的子属性数据并在视频上显示检测结果，第二层要实现的功能是对当前帧检测到的目标，进行计数。
其中有一些获取属性的代码，这里的调用方式类似于C/C++中的指针，经过多次调用赋予新名称，都会在指针所指向的原数据上做改动。
def osd_sink_pad_buffer_probe(pad, info, u_data):
# 预分类变量空间，frame_number将表示视频流的帧的序号0,1,2,...
frame_number = 0
# 初始化4种目标的计数器为0，以字典方式存储，类别有车辆、人、自行车、路标
# Intiallizing object counter with 0.
obj_counter = {
PGIE_CLASS_ID_VEHICLE: 0,
PGIE_CLASS_ID_PERSON: 0,
PGIE_CLASS_ID_BICYCLE: 0,
PGIE_CLASS_ID_ROADSIGN: 0
}
# 预分配变量空间，num_rects将表示每一帧种检测到的目标总数（rect即rectangle，矩形，代表定界框）
num_rects = 0
# 从输入info中，获取其buffer缓冲区，并存为变量gst_buffer
gst_buffer = info.get_buffer()
# 若gst_buffer没有被获取到，通过上述函数会赋值为None，将输出提示不能获取并停止该函数
if not gst_buffer:
print("Unable to get GstBuffer ")
return
# 该部分代码功能：从gst_buffer中取回成批的元数据batch meta/metadata，即将缓冲区中的视频文件获取为可以用python处理的元数据
# 注意pyds.gst_buffer_get_nvds_batch_meta()期望输入gst_buffer的C语言的地址
# 这个C语言地址可通过hash()函数获取
# Retrieve batch metadata from the gst_buffer
# Note that pyds.gst_buffer_get_nvds_batch_meta() expects the
# C address of gst_buffer as input, which is obtained with hash(gst_buffer)
batch_meta = pyds.gst_buffer_get_nvds_batch_meta(hash(gst_buffer))
# 提取视频流批量元数据的帧属性，存储为帧列表l_frame,就是视频的每一帧图片（以及属性信息）,它是batch_meta的最主要信息
l_frame = batch_meta.frame_meta_list #l代表list
# 对l_frame进行循环检查，如果获取的l_frame是空的，结束循环，这可能代表没有读取到帧的信息
# 每一次循环调用的可能只是l_frame中的一个元素，即循环单位为一帧
while l_frame is not None:
# 该try,except块的作用：将l_frame转化为deepstream变量的frame_data
try:
# 注意l_frame.data（l_frame包括主数据和属性，data是最主要部分）需要转化为pyds.NvDsFrameMeta
# pyds.NvDsFrameMeta是一种专门的NVIDIA-deepstream变量类型
# 转化过程通过函数pyds.glist_get_nvds_frame_meta()实现
# 转化保留了C代码中底层内存的所有权，因此Python垃圾收集器将不处理它
# 上述提及的转化函数，可能 pyds.glist_get_nvds_frame_meta是pyds.NvDsFrameMeta.cast的子函数
# Note that l_frame.data needs a cast to pyds.NvDsFrameMeta
# The casting is done by pyds.glist_get_nvds_frame_meta()
# The casting also keeps ownership of the underlying memory
# in the C code, so the Python garbage collector will leave
# it alone.
# frame_meta = pyds.glist_get_nvds_frame_meta(l_frame.data)
# 将l_frame.data转化为pyds.NvDsFrameMeta，存储为frame_meta
frame_meta = pyds.NvDsFrameMeta.cast(l_frame.data) # 应为某一帧的元数据
# 如果l_frame调用完了，即上一行函数调用时出现了StopIteration错误，结束循环
except StopIteration:
break
# 该块的作用：准备用于terminal中输出每一帧的数据
# frame_meta也有子属性，包括当前帧的帧序号、目标检测的类别及数量等
frame_number = frame_meta.frame_num # 获取当前帧的序号如0,1,2,...
num_rects = frame_meta.num_obj_meta # 获取当前帧检测到的各类目标总数（obj即目标object）
l_obj = frame_meta.obj_meta_list # 获取当前帧检测到的各类目标汇总成的列表
# 当目标列表l_obj不是空的时，执行循环（与外层循环同理），若当前帧的l_obj为空即当前帧没有检测到目标，就不用执行循环的内容
# 每一次循环调用的是目标列表中的某个目标元素,注意这是第二层循环，外层循环单元是每帧，第二层循环单元是每帧所检测到的目标
while l_obj is not None:
try:
# 把l_obj.data（类似于l_frame,l_obj同样也有主数据和其他属性）转化为pyds.NvDsObjectMeta
# pyds.NvDsObjectMeta是一种专门的NVIDIA-deepstream变量类型
# 转化过程通过函数pyds.glist_get_nvds_object_meta()实现，可能是pyds.NvDsObjectMeta.cast()的子函数
# Casting l_obj.data to pyds.NvDsObjectMeta
# obj_meta=pyds.glist_get_nvds_object_meta(l_obj.data)
# 将l_obj.data转化为pyds.NvDsObjectMeta，存储为obj_meta
obj_meta = pyds.NvDsObjectMeta.cast(l_obj.data)
# 如果l_obj调用完了，即上一行函数调用时出现了StopIteration错误，结束循环
except StopIteration:
break
# 从以下两行可以观察到，obj_meta每个目标的元数据有class_id（目标种类的编号）与rect_params（矩形定界框的参数）属性
# 计数器计数，比如其class_id是0，代表vehicle，就在counter的vehicle键对应的值+1
obj_counter[obj_meta.class_id] += 1
# 设置目标源数据的属性rect_params矩形定界框的参数，设置边框颜色的数值如下
# 定界框的颜色为蓝色，4个数值对应RGBA(red, green, blue, alpha)，1代表拉满即225数值的蓝色调
# 疑点：修改alpha为1时，运行的定界框没有变化还是蓝色，不清楚定界框的参数是否在这里设置
obj_meta.rect_params.border_color.set(0.0, 0.0, 1.0, 0.0)
try:
# 尝试遍历到l_obj的下一个？这里意会就行
l_obj = l_obj.next
#如果目标列表l_obj遍历完了，会得到StopIteration的错误，则跳出该循环（内层循环）
except StopIteration:
break
# 获取一个用于展示的元数据对象。
# 内存所有权保留在C代码中，因此下游插件（下游插件只能访问C语言内容不能访问python内容）仍然可以访问它。
# 否则，垃圾收集器将在该探测函数退出时会给它当成垃圾收走。
# Acquiring a display meta object. The memory ownership remains in
# the C code so downstream plugins can still access it. Otherwise
# the garbage collector will claim it when this probe function exits.
# 从batch_meta批量元数据获取展示用于展示的元数据display_meta
display_meta = pyds.nvds_acquire_display_meta_from_pool(batch_meta)
display_meta.num_labels = 1 #未知
# 将展示元数据的文本参数的第一部分内容，存储为py_nvosd_text_params
py_nvosd_text_params = display_meta.text_params[0]
# 设置将在屏幕上展示的文本（运行界面显示的检测情况，可查看第3部分运行结果的截图，左上角的文字）
# 注意，pyds模块为字符串（即要展示的文本内容）分配了一个缓冲区，垃圾收集器将不会声明内存把它当垃圾收走。
# 读取此处的display_text字段将返回分配字符串的C地址（而不是直接拿到文本）。所以可以使用pyds.get_string（）获取字符串内容。
# Setting display text to be shown on screen
# Note that the pyds module allocates a buffer for the string, and the
# memory will not be claimed by the garbage collector.
# Reading the display_text field here will return the C address of the
# allocated string. Use pyds.get_string() to get the string content.
# py_nvosd_text_params（上面从展示元数据提取出的第一部分），简单理解为文本参数
# 设置其属性isplay_text即展示文本，内容为：
“帧序号= ，检测目标数= ，汽车计数= ，行人计数= ”，通过format()方法向花括号内填充数字
py_nvosd_text_params.display_text = "Frame Number={} Number of Objects={} Vehicle_count={} Person_count={}".format(
frame_number, num_rects, obj_counter[PGIE_CLASS_ID_VEHICLE], obj_counter[PGIE_CLASS_ID_PERSON])
# 设置文本参数py_nvosd_text_params的x补偿与y补偿的大小，会影响目标的字符显示位置（以运行界面左上角为原点补偿）
# Now set the offsets where the string should appear
py_nvosd_text_params.x_offset = 10
py_nvosd_text_params.y_offset = 12
# 设置文本属性py_nvosd_text_params的字体属性，包括字体类别、字号与颜色
# Font , font-color and font-size
py_nvosd_text_params.font_params.font_name = "Serif"
py_nvosd_text_params.font_params.font_size = 10
# RGBA，其中RGB三色均拉满设为255数值，为白色，alpha设为1，代表一点都不透
# set(red, green, blue, alpha); set to White
py_nvosd_text_params.font_params.font_color.set(1.0, 1.0, 1.0, 1.0)
# 设置文本背景颜色
# Text background color
# py_nvosd_text_params文本参数的子属性set_bg_clr（设置背景颜色）设为1，可能代表使用背景，0不使用
py_nvosd_text_params.set_bg_clr = 1
# RGBA，其中RGB三色均设为0数值，没有亮光为黑色，alpha设为1，代表一点都不透
# set(red, green, blue, alpha); set to Black
py_nvosd_text_params.text_bg_clr.set(0.0, 0.0, 0.0, 1.0)
# 使用pyds.get_string()获取展示文本，形成字符串格式，在terminal中输出打印出来
# Using pyds.get_string() to get display_text as string
print(pyds.get_string(py_nvosd_text_params.display_text))
# 将展示元数据添加到帧数据中，这样我们就会在展示的视频界面看到添加的展示文字
pyds.nvds_add_display_meta_to_frame(frame_meta, display_meta)
try:
# 这帧完了，还有下一帧
l_frame = l_frame.next
# 每一帧都遍历完了，会得到StopIteration的错误，则跳出该循环（外层循环）
except StopIteration:
break
# 函数返回值，ok了，代表这个探针函数运行完毕了，没有实际意义
return Gst.PadProbeReturn.OK1.3 main函数与运行
main函数的流程并不难理解，但涉及到诸多基于Gstreamer框架的deepstream元素，可参考这篇文章（自己后面会写）了解其原理。
def main(args):
# 检查输入参数的数量
# Check input arguments
if len(args) != 2: #参数指python3的参数，第一个参数是.py文件，第二个参数是视频流.h264文件
# 如果参数数量不对，输出标注错误如下，告诉你参数应该是 <.py文件名+ 一个视频文件或uri标识>
sys.stderr.write("usage: %s \n" % args[0])
sys.exit(1) # 退出，即终止运行，参数1的含义（可能控制某些文本输出）？
# Standard GStreamer initialization
# 标准Gstreamer初始化为空None
Gst.init(None)
# Create gstreamer elements
# Create Pipeline element that will form a connection of other elements
# 创建Gstreamer元素
# 创建元素pipeline，将为其他元素间形成连接
print("Creating Pipeline \n ") # terminal打印出"创建中"
pipeline = Gst.Pipeline() # 创建pipeline
if not pipeline: # 如果创建没成功，pipeline会被赋值为None
# 则执行报错，不能创建pipeline，且程序终止
sys.stderr.write(" Unable to create Pipeline \n")
#以下的元素创建代码基本同上，不再过多注释，具体创建方法请见介绍Gstreamer的文章
# Source element for reading from the file
print("Creating Source \n ") # 创建source元素，读取视频文件
source = Gst.ElementFactory.make("filesrc", "file-source")
if not source:
sys.stderr.write(" Unable to create Source \n")
# Since the data format in the input file is elementary h264 stream,
# we need a h264parser
# 因为视频数据是h264格式的，需要h264解析器
print("Creating H264Parser \n") #创建h264解码器，解码视频数据
h264parser = Gst.ElementFactory.make("h264parse", "h264-parser")
if not h264parser:
sys.stderr.write(" Unable to create h264 parser \n")
# Use nvdec_h264 for hardware accelerated decode on GPU
# 使用nvdec_h264以在GPU上进行硬件加速解码
print("Creating Decoder \n") #创建nvdecoder_h264，GPU加速解码
decoder = Gst.ElementFactory.make("nvv4l2decoder", "nvv4l2-decoder")
if not decoder:
sys.stderr.write(" Unable to create Nvv4l2 Decoder \n")
# Create nvstreammux instance to form batches from one or more sources.
# 创建nvstreammux实例以将1个或多个数据源打包成批
# 强迫症想在这里也加一个print("Creating StreamMuxer \n")
streammux = Gst.ElementFactory.make("nvstreammux", "Stream-muxer")
if not streammux:
sys.stderr.write(" Unable to create NvStreamMux \n")
# Use nvinfer to run inferencing on decoder's output,
# behaviour of inferencing is set through config file
# 使用nvinfer在解码器的输出上运行推断，推断行为通过配置文件设置
# 强迫症想在这里也加一个print("Creating Inferer \n")
pgie = Gst.ElementFactory.make("nvinfer", "primary-inference")
if not pgie:
sys.stderr.write(" Unable to create pgie \n")
# Use convertor to convert from NV12 to RGBA as required by nvosd
# 根据nvosd的要求，使用convertor将NV12转换为RGBA （可能是颜色编码方式）
# 强迫症想在这里也加一个print("Creating Convertor \n")
nvvidconv = Gst.ElementFactory.make("nvvideoconvert", "convertor")
if not nvvidconv:
sys.stderr.write(" Unable to create nvvidconv \n")
# Create OSD to draw on the converted RGBA buffer
# 创建OSD以在转化的RGBA缓冲区进行画画，即在原视频上添加一些内容，类似Adobe Pr进行剪辑增加元素
# 强迫症想在这里也加一个print("Creating OSDdisplay \n")
nvosd = Gst.ElementFactory.make("nvdsosd", "onscreendisplay")
if not nvosd:
sys.stderr.write(" Unable to create nvosd \n")
# Finally render the osd output
# 最后渲染OSD的输出
if is_aarch64(): # 如果你用的是arm64架构的系统
# 创建1个trasform转化元素
transform = Gst.ElementFactory.make("nvegltransform", "nvegl-transform")
print("Creating EGLSink \n") # 创建1个sink元素
sink = Gst.ElementFactory.make("nveglglessink", "nvvideo-renderer")
if not sink:
sys.stderr.write(" Unable to create egl sink \n")
# terminal中打印：正在运行文件，%s即为你输入的.h264文件
print("Playing file %s " %args[1])
# 为部分元素设置属性
source.set_property('location', args[1]) # 设置source元素的location属性为你输入的.h264文件
streammux.set_property('width', 1920) # 设置streammux的width属性为1920
streammux.set_property('height', 1080) # 设置streammux的height属性为1080
streammux.set_property('batch-size', 1) # 设置streammux的batch-size批大小属性为1
streammux.set_property('batched-push-timeout', 4000000) # 设置batched-push-timeout批延时属性为4million秒
pgie.set_property('config-file-path', "dstest1_pgie_config.txt") # 设置pgie的config-file-path配置文件路径为这个txt文件
# 下面把上述创建的元素都添加到pipeline中
print("Adding elements to Pipeline \n")
pipeline.add(source)
pipeline.add(h264parser)
pipeline.add(decoder)
pipeline.add(streammux)
pipeline.add(pgie)
pipeline.add(nvvidconv)
pipeline.add(nvosd)
pipeline.add(sink)
if is_aarch64(): # 如果是arm64架构的系统，还要加入transform元素
pipeline.add(transform)
# we link the elements together
# file-source -> h264-parser -> nvh264-decoder ->
# nvinfer -> nvvidconv -> nvosd -> video-renderer
# 按照上述顺序，将pipeline中的元素依次连接
print("Linking elements in the Pipeline \n")
source.link(h264parser)
h264parser.link(decoder)
sinkpad = streammux.get_request_pad("sink_0") # 从streammux元素中拿到sinkpad
if not sinkpad:
sys.stderr.write(" Unable to get the sink pad of streammux \n")
srcpad = decoder.get_static_pad("src") # 从decoder中拿到srcpad
if not srcpad:
sys.stderr.write(" Unable to get source pad of decoder \n")
srcpad.link(sinkpad) # 这里srcpad即是decoder的一个枝条，伸出来连接streammux的sinkpad
streammux.link(pgie) # 上面一行相当于decoder和streammux的小弟连接起来了，这行又重回streammux进行连接
pgie.link(nvvidconv)
nvvidconv.link(nvosd)
if is_aarch64(): # 如果是arm64架构，则连接时候要把transform元素加上
nvosd.link(transform)
transform.link(sink)
else: # 不是arm64架构的系统，就直接连接sink就好
nvosd.link(sink)
# create an event loop and feed gstreamer bus mesages to it
# 创建一个事件循环，并向其提供gstreamer总线消息（bus是总线不是公交）
loop = GLib.MainLoop() # 创建事件循环
bus = pipeline.get_bus() # 从pipeline获取总线
bus.add_signal_watch() # 向总线添加信号观察
bus.connect ("message", bus_call, loop) # 将总线和循环连起来。bus_call从哪来的？
# Lets add probe to get informed of the meta data generated, we add probe to
# the sink pad of the osd element, since by that time, the buffer would have
# had got all the metadata.
# 让我们添加探针以获得生成的元数据的通知
# 我们将探针添加到osd元素的接收器垫
# 因为到那时，缓冲区已经获得了所有元数据
osdsinkpad = nvosd.get_static_pad("sink") # 获取osd的sink垫，存储为osdsinkpad
if not osdsinkpad: # 要是没获取到，osdsinkpad就是None
sys.stderr.write(" Unable to get sink pad of nvosd \n")
osdsinkpad.add_probe(Gst.PadProbeType.BUFFER, osd_sink_pad_buffer_probe, 0) # 添加探针（探针是函数）
# start play back and listen to events
# 开始播放并收听事件
print("Starting pipeline \n")
pipeline.set_state(Gst.State.PLAYING) # 设置pipeline状态为运行
try: # 运行循环，开始播放检测视频
loop.run()
except: # 尝试不成功就跳过，这时应该为视频已经播放检测完了
pass
# cleanup
pipeline.set_state(Gst.State.NULL) # 设置pipeline状态为空状态
if __name__ == '__main__': # 如果函数被直接调用而不是在其他文件中作为模块被调用，执行下述代码
sys.exit(main(sys.argv))
2. 配置解读
在main函数的中间部分，对pgie（是deepstream的nvinfer元素类）进行了属性设置，将'config-file-path'属性设置为"dstest1_pgie_config.txt"，即pgie的配置文件为该txt文件。请注意pgie即为目标检测模型的主体。
该配置文件路径位于deepstream_python_apps/apps/deepstream-test1/，文件内容列于下方。
################################################################################
# SPDX-FileCopyrightText: Copyright (c) 2019-2021 NVIDIA CORPORATION & AFFILIATES. All rights reserved.
# SPDX-License-Identifier: Apache-2.0
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
################################################################################
# Following properties are mandatory when engine files are not specified:
# int8-calib-file(Only in INT8)
# Caffemodel mandatory properties: model-file, proto-file, output-blob-names
# UFF: uff-file, input-dims, uff-input-blob-name, output-blob-names
# ONNX: onnx-file
#
# Mandatory properties for detectors:
# num-detected-classes
#
# Optional properties for detectors:
# cluster-mode(Default=Group Rectangles), interval(Primary mode only, Default=0)
# custom-lib-path,
# parse-bbox-func-name
#
# Mandatory properties for classifiers:
# classifier-threshold, is-classifier
#
# Optional properties for classifiers:
# classifier-async-mode(Secondary mode only, Default=false)
#
# Optional properties in secondary mode:
# operate-on-gie-id(Default=0), operate-on-class-ids(Defaults to all classes),
# input-object-min-width, input-object-min-height, input-object-max-width,
# input-object-max-height
#
# Following properties are always recommended:
# batch-size(Default=1)
#
# Other optional properties:
# net-scale-factor(Default=1), network-mode(Default=0 i.e FP32),
# model-color-format(Default=0 i.e. RGB) model-engine-file, labelfile-path,
# mean-file, gie-unique-id(Default=0), offsets, process-mode (Default=1 i.e. primary),
# custom-lib-path, network-mode(Default=0 i.e FP32)
#
# The values in the config file are overridden by values set through GObject
# properties.
[property]
gpu-id=0
net-scale-factor=0.0039215697906911373
model-file=../../../../samples/models/Primary_Detector/resnet10.caffemodel
proto-file=../../../../samples/models/Primary_Detector/resnet10.prototxt
model-engine-file=../../../../samples/models/Primary_Detector/resnet10.caffemodel_b1_gpu0_int8.engine
labelfile-path=../../../../samples/models/Primary_Detector/labels.txt
int8-calib-file=../../../../samples/models/Primary_Detector/cal_trt.bin
force-implicit-batch-dim=1
batch-size=1
network-mode=1
num-detected-classes=4
interval=0
gie-unique-id=1
output-blob-names=conv2d_bbox;conv2d_cov/Sigmoid
#scaling-filter=0
#scaling-compute-hw=0
[class-attrs-all]
pre-cluster-threshold=0.2
eps=0.2
group-threshold=1
3. 模型运行
运行方法：前往deepstream_python_apps/apps/deepstream-test1/文件夹中，右键打开terminal。或任意位置打开terminal后，输入下述cd指令前往指定文件夹。输入下述python3开头的命令运行。
cd /opt/nvidia/deepstream/deepstream-6.0/sources/deepstream_python_apps/apps/deepstream-test1
python3 deepstream_test_1.py ../../../../samples/streams/sample_720p.h264terminal中实时输出运行情况，可以观察到输出内容包括：创建Gstreamer框架元素、运行视频流文件、添加元素到pipeline、pipeline中连接元素、开始pipeline、nvinfer及其他元素的运行情况、开始检测视频的每一帧。
Creating Pipeline
Creating Source
Creating H264Parser
Creating Decoder
Creating EGLSink
Playing file ../../../../samples/streams/sample_720p.h264
Adding elements to Pipeline
Linking elements in the Pipeline
Starting pipeline
Using winsys: x11
Opening in BLOCKING MODE
0:00:01.843676554 13884 0x397210f0 WARN nvinfer gstnvinfer.cpp:635:gst_nvinfer_logger: NvDsInferContext[UID 1]: Warning from NvDsInferContextImpl::initialize() [UID = 1]: Warning, OpenCV has been deprecated. Using NMS for clustering instead of cv::groupRectangles with topK = 20 and NMS Threshold = 0.5
0:00:11.222776760 13884 0x397210f0 INFO nvinfer gstnvinfer.cpp:638:gst_nvinfer_logger: NvDsInferContext[UID 1]: Info from NvDsInferContextImpl::deserializeEngineAndBackend() [UID = 1]: deserialized trt engine from :/opt/nvidia/deepstream/deepstream-6.0/samples/models/Primary_Detector/resnet10.caffemodel_b1_gpu0_int8.engine
INFO: [Implicit Engine Info]: layers num: 3
0 INPUT kFLOAT input_1 3x368x640
1 OUTPUT kFLOAT conv2d_bbox 16x23x40
2 OUTPUT kFLOAT conv2d_cov/Sigmoid 4x23x40
0:00:11.245433645 13884 0x397210f0 INFO nvinfer gstnvinfer.cpp:638:gst_nvinfer_logger: NvDsInferContext[UID 1]: Info from NvDsInferContextImpl::generateBackendContext() [UID = 1]: Use deserialized engine model: /opt/nvidia/deepstream/deepstream-6.0/samples/models/Primary_Detector/resnet10.caffemodel_b1_gpu0_int8.engine
0:00:11.283587505 13884 0x397210f0 INFO nvinfer gstnvinfer_impl.cpp:313:notifyLoadModelStatus: [UID 1]: Load new model:dstest1_pgie_config.txt sucessfully
NvMMLiteOpen : Block : BlockType = 261
NVMEDIA: Reading vendor.tegra.display-size : status: 6
NvMMLiteBlockCreate : Block : BlockType = 261
Frame Number=0 Number of Objects=11 Vehicle_count=7 Person_count=4
Frame Number=1 Number of Objects=8 Vehicle_count=6 Person_count=2
Frame Number=2 Number of Objects=7 Vehicle_count=5 Person_count=2
...
Frame Number=1439 Number of Objects=13 Vehicle_count=10 Person_count=3
Frame Number=1440 Number of Objects=14 Vehicle_count=11 Person_count=3
Frame Number=1441 Number of Objects=0 Vehicle_count=0 Person_count=0
End-of-stream 4. 参考文章
（1）if __name__=='__main__' 的作用是当py直接被调用正常运行，如以模块被调用则不运行
（2）sys包的所有函数
（3）gi包GObject introspection官网
（4）pyds官网
（5）在common中对__init__.py的学习
（6）OSD对象存储
（7）视频流中的sink
（8）probe与gallery的概念
（9）python中try: ...except: ...
（10）try:... except:StopIteration错误
（11）garbage collector原理