模型推理那些事

模型推理那些事

目前主流的深度学习框架有目前越来越多的深度学习框架、工具集以及定制化硬件使得构建、部署和跨框架管理深度学习越来越复杂。常用的深度学习框架有TensorFlow、Pytorch、MXNet和CNTK，因为训练最为耗时，所以常使用GPU、FPGA、TPU和ASIC等硬件加速模块缩短训练耗时，这些定制化的硬件需要使用定制化的驱动和库以便和深度学习框架交互。NVIDIA CUDA/cuDNN和Intel的OneDNN是这种情况的两个例子。当训练结束得到最终模型之后，部署阶段的平台可以是公有云、电脑、手机以及嵌入式设备等，为了加速前向计算，常用不同的AI加速器，如NVIDIA Jetson家族，Intel Movidius and Myriad VPU, Google Edge TPU and Qualcomm Adreno GPU 等，和训练端类似，需要使用专用的驱动包以便使用这些硬件，如NVIDIA JetPack, Intel OpenVINO Toolkit, Google TensorFlow Lite<