NPU 310、310P和GPU 4090推理耗时对比

华为310、310P、GPU4090推理性能耗时对比:

测试图像大小为:300*300

推理卡名字

单张推理耗时
310 100ms
310P 50ms
4090 60ms

batch推理耗时对比:

310 310P 4090
batch=1 64ms
batch=2 40ms
batch=4 30ms
batch=8 22ms
batch=16 20ms

你可能感兴趣的:(人工智能)