深度学习模型加速平台介绍

英伟达TensorRT

TensorRT是英伟达针对自家的平台用于推理的加速包。在部署的时候用于提升速度。
TensorRT提升速度主要使用两个方面的改进：
1、将数值计算时使用INT8或者FP16而不是FP32，计算可以大大减小计算量，从而达到加速的目的
2、对网络进行重构，把一些可以合并的运算放到一起一起，提升并行度

容易混淆的cuda cudnn

cuda是英伟达开发的一套应用软件接口（API）。其主要应用于英伟达GPU显卡的调用。常用的有cpp和python的API。用户可以通过cuda的API调用GPU进行计算。cuda针对的是并行计算的加速。

cuDNN是英伟达打造的针对深度神经网络的加速库，可以将模型训练的计算优化后，再通过cuda调用进行运算。

openvino 英特尔

OpenVINO是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，支持各种英特尔平台的硬件加速器上进行深度学习，并且允许直接异构执行。 支持在Windows与Linux系统，Python/C++语言。

onnxruntime 微软

ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。

ncnn 腾讯

ncnn是一个针对移动平台优化的高性能神经网络推理框架，基于该平台，开发者能够轻松将深度学习算法移植到手机端，输出高效的执行。

TNN 腾讯

TNN是腾讯开源的新一代跨平台深度学习推理框架，首个同时支持移动端、桌面端、服务端的全平台开源版本