关于pytorch使用时 内存飙升的问题记录

问题

这次做了一个人脸检测加识别的项目,由于开发在服务器上开发,没发现问题,但是当部署到jetson盒子上时发现内存会异常增高。以下是

记录总结

在这里插入图片描述
在使用pytorch gpu运行时,会开辟额外的空间,网上有理论说在gpu上pytorch有自己的函数等,所以会异常占用,另外在cpu上检测模型加载时内存也很高的问题,还没有比较合理的解释,不过我在 后面转换为tensorrt之后发现及时只在开头引入了pytorch序列化函数,后面内存也会多占用2个g左右。

解决办法

坦白说,并没有找到什么解决办法,最好的办法就是不用pytorch,诚然在训练时确实码代码比较方便,但是部署的内存占用确实让人难以接受,另外如果需要实时推理,在硬件功能稍弱的情况下,这个推理速度也是跟不上的。所以建议大家还是转成 tensorrt进行推理。

记录

GPU测试
未开始前 内存占用1.8G
关于pytorch使用时 内存飙升的问题记录_第1张图片
只加载检测模型 占用3.4G(我用的检测模型特别小!)
关于pytorch使用时 内存飙升的问题记录_第2张图片
只加载检测模型+推理 占用4.8G
关于pytorch使用时 内存飙升的问题记录_第3张图片

只加载识别模型 占用3.7G
关于pytorch使用时 内存飙升的问题记录_第4张图片

只加载识别模型+推理 占用 4.8G
关于pytorch使用时 内存飙升的问题记录_第5张图片

两个模型一起加载 占用3.8G
关于pytorch使用时 内存飙升的问题记录_第6张图片

两个模型一起加载并推理 占用5.9G

关于pytorch使用时 内存飙升的问题记录_第7张图片

搜索了以下问题,有盆友说是因为在pytorch内部使用了自己的cuda核函数,所以内存会很高,如果使用cpu推理就会小很多,这里也测试了以下cpu下的内存占用。

加载检测模型 3.4G

关于pytorch使用时 内存飙升的问题记录_第8张图片
使用cpu 只加载检测模型+推理 3.8G
关于pytorch使用时 内存飙升的问题记录_第9张图片

Cpu只加载识别模型
关于pytorch使用时 内存飙升的问题记录_第10张图片
使用cpu 只加载识别模型+推理 3.7G
关于pytorch使用时 内存飙升的问题记录_第11张图片

Cpu两个加载 3.7G
关于pytorch使用时 内存飙升的问题记录_第12张图片

你可能感兴趣的:(torch2trt,pytorch,python,计算机视觉)