设置builder.max_workspace_size的意义

翻译自 The significance of builder.max_workspace_size. - TensorRT - NVIDIA Developer Forums

maximum workspace 限制了模型中任何层可以使用的内存数量。 这并不意味着如果设置1 << 30,就会分配1GB内存。 在运行时,只会分配层操作所需的内存数量。在构建大网络时,设置这个参数,给予足够多的内存是很必要的

后面需要自己尝试看看

你可能感兴趣的:(模型压缩与加速,tensorrt)