onnx实现pytorch模型推断及量化

onnx实现pytorch模型推断及量化

  • 1.使用onnx runtime实现模型推断
    • 1.1 cpu版
      • 1.1.1 保存onnx格式的模型
      • 1.1.2 实现推断
    • 1.2 gpu版
  • 2.使用onnx runtime实现模型量化
    • 2.1 用于校准的数据准备
      • 2.1.1 使用pytorch加载cifar100数据集
      • 2.1.2 用于量化过程中的校准用数据集
    • 2.2 onnx 量化
  • 参考文献

1.使用onnx runtime实现模型推断

仍以resnet101模型为例。

你可能感兴趣的:(AI部署实战,onnx,量化)