NVIDIA DRIVE SDK学习（二）——NvMedia

NvMedia整体介绍

图像处理和管理

NvMedia支持以下几个处理：

• 处理NvSciBufObj带过来的图像数据
• 支持注册NvSciBufObj进行处理。
• 支持按图像特定的元数据作为NvSciBufObj的一部分。

NvMedia分为下面几个部分：

Image 2D

该组件支持对图像进行拷贝、缩放、裁剪等操作。它操作的图像格式为RGB或者YUV，也支持两种格式的转化。它支持图像聚合操作。

IEP

该组件支持将YUV格式图像编码成H.264/H.265/AV1格式视频流。
详细内容参考：IEP描述

IJPE

• Baseline ITU-T T.81 / ISO/IEC 10918-1
• Programmable Huffman Table
• Programmable Quant Table
• 8bit YUV420 semi-planar Input Format
• 8bit YUV420 planar input format
• Rate control i.e. target image size
• Quality factor parameter from 1 (lowest quality) to 100 (highest quality)

IJPD

详细内容参考：IJPD描述

OFA

OFA可以分为两种模式：
立体视差模式：在这种模式下，该模块通过左图像和右图像来产生立体视差，从而进行物体深度测量。
光追模式：该模块通过前后两幅图像，来产生光流向量。
应用场景：

详细内容见链接：OFA描述

SIPL

SIPL框架是用来提供HDR摄像头数据来给用户或者机器视觉。它可以处理单个相机，也可以处理多个相机链接到聚合器的场景。

NvMedia Tensor

目前，NvMedia仅支持4维张量：
NvMedia Tensor与NvMedia DLA组件一起使用
可以通过使用NvSciBuf API通过NvMedia Tensor属性分配NvSciBuf来创建NvMedia张量。由于NvSciBuf API有助于NvMedia和NVIDIA®CUDA®之间的数据共享，这使得分配的张量可以在NvSciBuf API允许的情况下重复使用。

NvSciSync

NvSciSync组件使得NvMedia组件可以与其他组件保持同步，比如CUDA组件、基于NvSciSync的组件等。
NvSciSync支持针对高级驾驶员辅助系统（ADAS）和自主应用程序开发的image组件。它们不支持NvMedia视频组件。
有NvSciSync扩展的组件支持：

• Accepting an NvSciSyncFence object when the NvMedia engine is used as a waiter
• Returning an NvSciSyncFence object when the NvMedia engine is used as a signaler

其中的定义：
Frame：硬件加速引擎可以操作的最小数据单元。
SOF Fence：表示硬件加速引擎已经开始处理数据。
EOF Fence：表示硬件加速引擎已经把数据处理完了，并切有数据可用了。
PRE Fence：一个fence开始处理之后被blocked住，然后直到fence结束。

SIPL介绍

SIPL在用户层可以抽象为下面两种功能：

• 配置外部摄像头、EEPROM、加串器、解串器等。
• 配置硬件和对应pipeline来捕获处理图像数据。