TensorRT笔记(8)处理Dynamic shapes

处理动态形状

  • 7.处理Dynamic shapes
    • 7.1 指定运行时维度
    • 7.2 优化配置文件
      • 7.2.1 多个优化配置文件的绑定
    • 7.3 动态形状的图层扩展
    • 7.4 动态形状的限制
    • 7.5 执行张量vs.形状张量
      • 7.5.1 正式推理规则
    • 7.6 形状张量I / O(高级)
    • 7.7 具有动态形状的INT8校准

7.处理Dynamic shapes

Dynamic shapes 是将某些或所有张量尺寸推迟到运行时的能力。 Dynamic shapes 可以通过C ++和Python接口使用。
以下各节提供了更详细的信息; 但是,这是构建具有动态形状的引擎的步骤的概述:

  1. 网络定义不得具有隐式批处理维度。
    C++
    通过调用创建INetworkDefinition
IBuilder::createNetworkV2

你可能感兴趣的:(TensorRT-部署-加速)