深眸分享-深度学习模型加速tensorRT

1.什么是tensorRT

tensorRT是nvidia公司推出的,能够高效快速地推理深度学习模型的SDK。其可以将主流的深度学习框架模型转换成更加适配nvidia显卡的形式,从而达到高速推理的目的。

深眸分享-深度学习模型加速tensorRT_第1张图片

2.为什么选择tensorRT

以主流的pytorch框架为例,其在推理速度上有着明显劣势。计算机视觉领域对推理时间一般有严格的要求,Pytorch模型经过tensorRT加速后,速度可以提升至少十倍以上,但模型的识别精度几乎不下降。并且RT提供了自己的runtime,可以使模型部署更轻松。

除此以外,RT优化了模型对于显存的使用策略,使得显存利用率更高。

目前tensorRT几乎支持所有主流的深度学习框架,如pytorch,TensorFlow等,可选择性更高。

深眸分享-深度学习模型加速tensorRT_第2张图片

3.局限性

01

tensorRT并不能支持所有的模型算子,尤其是新算子,这导致部分框架并不能直接使用RT进行转换。但目前来看nvidia官方对RT的投入是足够的,比较主流的新算子都会陆续更新支持

02

因为tensorRT的加速是部分基于硬件的,所以硬件上基本绑定了nvidia显卡,并且由于硬件上的差异,经过加速后的模型只能运行在相同型号的GPU上,即在3060显卡上加速的模型只能运行在3060显卡

你可能感兴趣的:(深度学习,人工智能)