onnxruntime推理CPU GPU切换

onnxruntime推理CPU GPU切换

  • 1、切换CPU与GPU

1、切换CPU与GPU

在anaconda环境下安装了onnxruntime和onnxruntime-gpu,在使用时总是默认调用gpu版本的库。
有时需要对比CPU和GPU的性能,有时因为显存不够只能使用CPU版本的库,但是系统默认调用GPU的库,网上看到一些说法,为了测试CPU只能把GPU的库卸载了,这种说法我不赞成。
其实只要细心,跳转到onnxruntime的InferenceSession定义据可以知道,办法是有的,就是多设置一个参数。
参考代码
注意使用时ONNX_PROVIDERS里面取CUD和CPU中的一个。


ONNX_PROVIDERS = ["CUDAExecutionProvider", "CPUExecutionProvider"]
opt = rt.SessionOptions

你可能感兴趣的:(pytorch实践,onnx,深度学习,tensorflow,python)