英伟达GPU及架构

英伟达

GTX 1080TI Pascal™ 结构

T4卡  基于Turing架构

P4卡  Pascal™ 结构

V100 基于Volta架构

在某一个架构上进行序列化, 就应该在这个架构上测试, 否则会报错

tensorRT:NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。TensorRT需要CUDA, libnvinfer的支持
 

cudnn/libnvinfer

cuda8/9/10

参考:https://www.zhihu.com/question/60161133

https://blog.csdn.net/fengbingchun/article/details/78469551