Paddle Lite性能大提升！ARM CPU多场景端侧部署，直击AI产业应用

随着芯片技术和边缘计算技术的快速发展，AI算法落地应用逐渐从服务器端走向移动端和边缘端。在L1～L4自动驾驶、无人机、智能家居、工业质检、新零售等行业场景中，怎么把目标检测、OCR、人流统计、语音识别等AI模型顺利地部署到端侧设备，并保证模型效果，在项目中至关重要。

智能辅助驾驶算法→ADAS

智能语音识别→小度音箱

“识万物”算法→手机百度

无人机跟踪算法→端侧硬件

人流统计算法→智能摄像头

人脸处理算法→好看小视频

注*：以上视频/图片引用来源注明见引用说明[1]

然而，现实中智能终端硬件种类繁多、内存资源和计算资源相对有限，要完成模型在端侧的部署，一个巨大挑战是AI模型推理速度是否满足业务要求。很多时候，开发小伙伴们对比了各种推理引擎速度后，费了九牛二虎之力做模型转换和精度对齐，终于将模型在端上跑起来了，可是速度还是不太理想，然后又对模型做量化、剪枝、蒸馏等一系列的尝试，最后仰天长啸“坑…死…了…怎么还是这么慢！”

今天我们给大家带来的新升级的轻量化推理引擎PaddleLite+模型压缩工具PaddleSlim正好可以解决上述端侧部署的痛点问题。

此次升级，轻量化推理引擎Paddle Lite通过多维度算子优化技术，性能有了大幅提高。经测试，算子性能在ARM CPU v7与v8架构下，推理速度最高分别可以提升23.09%和23.33%。

再有PaddleSlim非结构稀疏剪枝和INT8量化能力的加持，使Paddle Lite的推理速度更进一步。经测试，在轻量级分类、检测、分割模型上使用PaddleSlim非结构化稀疏后，Paddle Lite的推理加速达到20%～80%，部署模型体积减小22%～36%（精度损失0.2%～1.5%）；量化加速达到20%～50%，模型体积减少75%（精度损失0.2%～1.0%）。以PicoDet-ShuffleNet-m模型在骁龙835芯片上推理为例，通过PaddleSlim完成85%非结构化稀疏剪枝后，可以提升推理速度80%；使用INT8量化，可以提升推理速度35%。

话不多说，直接奉上开源代码实现

https://github.com/PaddlePaddle/Paddle-Lite

欢迎大家✨Star收藏，深入研究使用。

更好地使用Paddle Lite

在AI产业应用中，怎么将AI任务更好地落地到各种真实场景呢？Paddle Lite团队联合百度搜索产品研发团队、百度视觉技术团队，从通用目标检测、软硬一体的人脸终端方案、百度APP业务实战三个具体的场景出发，全面剖析AI开发（模型选型-训练-验证-转换-部署）全流程，详解产业落地中端侧部署中的核心技术。3月28日-3月29日每晚20:30-21:30，我们不见不散。

快快扫码关注起来。微信扫码报名课程，即可加入官方技术交流群，在这里您可以获得更高效的问题答疑，与各行各业开发者充分交流，期待您的加入！更多飞桨的相关内容，请参阅以下内容。

生态建设欢迎你

自Paddle Lite开源以来，小伙伴们陆陆续续将Paddle Lite应用到各行各业中。感谢可爱的小伙伴们伴随Paddle Lite的成长，给予真诚的反馈，并积极投入到Paddle Lite的项目建设中。同时，真诚地邀请每一位开发者朋友加入Paddle Lite开源项目建设中来，站上中国AI舞台，共舞世界AI蓝图。

图片数据引用说明

【智能辅助驾驶场景】

辅助驾驶图像：源于百度飞桨Paddle Lite https://github.com/PaddlePaddle/Paddlelite和百度地图公开数据集

辅助驾驶硬件产品：https://cloud.baidu.com/product/hardware/edgeboard

【无人机监测跟踪场景】

无人机数据：https://github.com/ucas-vg/Anti-UAV

端侧硬件：https://cloud.baidu.com/product/hardware/edgeboard

【智能语音识别场景】

语音识别图像：https://cloud.baidu.com/product/speech/realtime_asr?track=cp:nsem|pf:pc|pp:nsem-chanpin-shishiyuyinshibie|pu:yuyinshibie-pinpaici|ci:|kw:10092197&bd_vid=3552446585807869652

小度音箱产品：https://dumall.baidu.com/

【智能人流统场景】

人流跟踪动图片段：数据来源于公开数据集：Milan A, Leal-Taixé L, Reid I, et al.MOT16: A benchmark for multi-object tracking[J]. arXiv preprintarXiv:1603.00831, 2016.

摄像头硬件：https://cloud.baidu.com/products/index.html

【手机百度APP场景】

识万物功能视频：使用百度APP实时录制

APP图标来源：百度APP

【人脸图像迁移场景】

APP图标开源：好看小视频

相关阅读

• 飞桨携手Arm团队，推进Paddle Lite端侧推理性能提升 | 部署“桨”坛

• 如何在飞桨 x 昆仑芯上部署PP-OCR模型 | 洞见AI硬件

• 洞见 AI 硬件，部署“桨”坛 | 昇腾310多方案部署，Paddle Lite在Atlas 200 DK部署实战

• 飞桨模型在“周易”AIPU上的部署（基于R329开发板）| 部署“桨”坛

• 部署“桨”坛 | 通过Paddle2ONNX在Atlas 200 DK上部署模型

• 深度学习产业落地速度新支点：飞桨&英特尔®至强®共同助力AI加速

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~