TensorRT安装与engine生成

1、下载

  • 选择合适的TensorRT版本,在官网进行下载
    TensorRT安装与engine生成_第1张图片
  • 下载完后后,需要进行解压:
tar -xzvf TensorRT-${version}.Linux.${arch}-gnu.${cuda}.${cudnn}.tar.gz
  • 添加TensorRT lib的绝对路径到系统环境变量LD_LIBRARY_PATH:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:<TensorRT-${version}/lib>
  • 拷贝lib文件到你指定的项目文件中:
cp ./libs/.* ./dst_file/

安装教程参考:https://blog.csdn.net/weixin_41552975/article/details/114238425

2、pth转onnx

  • 使用自带函数进行转
torch.onnx.export()
  • 如果网络中使用了自适应池化层,需通过onnxsim来转换
pip install onnxsim 
pip install onnxruntime
python -m onnxsim origin.onnx sim.onnx 
  • 通过trtexec,来验证onnx,并测试推理时间
./trtexec --onnx=model.onnx

3、onnx转engine

/mnt/download/TensorRT-7.0.0.11/bin/trtexec --onnx=best.onnx --verbose --saveEngine=best.engine  --explicitBatch --workspace=4096 --fp16  

相关链接

  • 官方使用指南:https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html
  • https://blog.csdn.net/dou3516/article/details/125976923
  • https://blog.csdn.net/qq_40081208/article/details/118383068

你可能感兴趣的:(1024程序员节)