onnxruntime CPU和GPU推理测试

最近在做移动端模型移植的工作,在转换为onnx中间模型格式的时候,利用onnxruntime加载onnx模型进行推理,为了对比CPU与GPU的推理时间,需要分别进行测试。
onnxruntime的CPU和GPU测试的方式,百度了一下没有找到合适的解决方式,后来问了其他同事,大概知道了。如果要测试CPU的推理时间,Python环境需要安装onnxruntime,如果测试GPU的推理时间,Python环境就需要卸载CPU版本,安装onnxruntime-gpu,然后进行推理时间测试。

2.66s-mac 2.505s-Linux CPU

142.8ms-Linux GPU

你可能感兴趣的:(pytorch)