小度巡检机器人上岗记：飞桨PaddleX助力实现室内精准巡检

“告警：1号楼4层A梯消防通道有障碍物！”

百度大厦的一名安保人员手机里弹出这样一条信息。发信息的是他的“新同事”，一位近期上岗百度深研大厦的智能助手——小度巡检机器人。

小度巡检机器人是百度基于飞桨打造的一款室内智能巡检机器人，具有自主巡检、定时巡检、自主回充、远程监管（包括机器人监控、巡检报警报）和数据收集等功能，能够协助物业、安保等部门对办公场所等室内区域进行精准巡检，从而及时响应、杜绝安全隐患。

小度巡检机器人的工作日常：

技能、效率双在线

小度巡检机器人上岗后将负责百度深研大厦F1-F15共15层的巡检，包含办公区灯故障检测、饮水机状态检测、果篮空置检测、消防通道检测和夜间加班情况统计等日常工作内容，实时上报巡检结果，方便安保人员及时到场解决。

以饮水机状态检测为例，当小度巡检机器人走到饮水机前方时，借助摄像头，能够识别判断饮水机的开关机状态、水位状态以及邻近的大桶水架的空桶情况。如果饮水机处于开机状态，而水位低于设置线，小度巡检机器人就会向安保人员发出给饮水机换水的通知。同时，当大桶水架子上有多个空桶时，则会向安保人员发出给更换大桶水的通知。

在此次疫情期间，小度巡检机器人还增加了一项工作内容，就是负责办公区域内员工口罩佩戴检测，充当着员工们贴心的戴口罩提醒员。而如今，随着疫情防控进入常态化，小度巡检机器人还将继续守护在疫情防控的第一线，成为助力企业复工复产的一股后备力量。

小度巡检机器人上岗后，日常巡检效率提升200%，原本1~15层全楼层需要1~2人每2小时巡检一次，现在借由小度巡检机器人的辅助，只需要人力早晚各一次进行补充巡检即可，不仅节约了巡检的人力，而且加快了对异常情况检测的反应速度，提升了办公人员的体验。

小度巡检机器人的诞生：

飞桨PaddleX助力整套开发流程

作为一位承担着百度深研大厦日常巡检的“工作人员”，多才多艺、聪明高效的小度巡检机器人的技能加持，离不开百度飞桨深度学习平台的开发工具PaddleX助力。PaddleX是“WAVE SUMMIT 2020”深度学习开发者峰会上飞桨全新发布的全流程开发工具，它集飞桨核心框架、模型库、工具及组件等深度学习开发所需全部能力于一身，提供简明易懂的Python API，方便用户根据实际生产需求进行直接调用或二次开发，此外PaddleX也供了深度学习模型开发的可视化界面，让用户免去代码的开发流程，快速完成模型开发。

据百度飞桨技术团队介绍，为了提升百度深研大厦的巡检效率、提高同事们的办公体验，也把自己研发的开发工具实现落地应用，他们联合了百度自然语言处理部的小度机器人团队，为小度巡检机器人增加了诸多能力。综合考虑了安保人员的日常巡检内容和办公所需，如饮水机的更换、果篮剩余物的更换，以及夜间办公区电器的开关等，团队确定了机器人巡检的使用场景，随即开始着手应用飞桨全流程开发工具PaddleX研发实现小度巡检机器人的核心算法。以果篮识别场景为例，其具体的实现过程分为如下几个步骤：

第一步：数据采集

果篮识别是一个可以快速应用图像分类技术的场景。现场采集大量的果篮有水果状态和果篮无水果的两类图片，理论上，图像样本越多，模型训练越充分。技术人员采集了1000张图片左右，并按照分类方式进行图片整理。

第二步：确定算法。

PaddleX预置了飞桨团队在产业实践中验证过的丰富的优势模型。在巡检场景中，飞桨技术团队选用了MobileNet v3_large_x1_0_ssld这一优势模型。MobileNetV3 是一种基于 NAS 的新的轻量级网络，与其它网络相比，在相同的推理速度下，MobileNetV3 系列网络的精度更有竞争力。

飞桨图像分类库PaddleClas针对该系列模型做了很多深层次的优化，应用了飞桨独创的知识蒸馏方案SSLD，提供的基础预训练模型MobileNetV3_large_x1_0_ssld 准确率达到79%，而轻量级预训练模型 MobileNetV3_small_x1_0_ssld准确率达到71.3%。而在实际进行精调之后，精度在这个维度上有了更大幅度的提升。

更多关于飞桨图像分类库PaddleClas及SSLD算法的介绍，请参见：

https://paddleclas.readthedocs.io/zh_CN/latest/index.html

第三步：把图片导入PaddleX GUI中进行模型训练。

PaddleX GUI是基于PaddleX实现的可视化深度学习模型开发套件，在导入数据后，可以自动进行数据集校验、数据集切分和数据集分析等功能，让用户一眼可以了解自己的数据情况。

在超参配置上，PaddleX GUI会根据数据和用户硬件情况，自动推荐参数，因此训练过程中无需做太多的调整，同时大部分参数都有相应的Tool Tips介绍说明，便于用户理解并自行调整。

配置好参数后，点击「启动训练」，便直接进入了模型的训练环节。在这个过程中，PaddleX还集成了VisualDL这样的可视化分析工具对训练过程进行分析：

这样便完成了模型的训练，模型评估的各项指标都非常好。

最后就可以直接将模型进行一键发布。

PaddleX GUI Demo可以在PaddleX官网落地页中申请进行下载使用：

https://www.paddlepaddle.org.cn/paddle/paddleX

第四步：模型部署预测。

小度机器人搭载的是NVIDIA Jetson TX2芯片，采用了PaddlePaddle的原生推理库Paddle Inference，在小度机器人的Linux系统下，应用C++进行部署并最终实现推理。详细文档请见：

https://paddlex.readthedocs.io/zh_CN/latest/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.html

PaddlePaddle C++推理库针对不同的硬件部署环境，提供了不同的预编译版本，开发者可以根据自己的硬件环境直接下载使用。

此外，PaddleX定制化地开发了针对PaddleX模型的部署代码，用户可以方便快捷地通过2个API接口完成模型的加载和推理，免去了开发者对于图像预处理和后处理的代码开发工作，大大提升了模型部署的效率。

编译成功后，就可以将PaddleX导出的inference格式的模型通过可执行程序进行加载运行，并实际通过摄像头采集到的图片，快速验证模型分类效果。

此时完成了所有开发流程。针对饮水机状态识别等场景也可以采用一样的逻辑去实现相应的算法模型。

“PaddleX整套开发流程使用起来非常简单，对于没有深度学习模型开发经验的工程师非常友好，文档详尽，开发者能够快速针对场景，生产及部署合适的算法实现业务逻辑。”开发小度巡检机器人的技术团队表示。正是得益于飞桨PaddleX打通深度学习开发全流程和易用易集成的优势，小度巡检机器人的整套开发流程迅速高效，且能够完美胜任室内巡检这一场景，并在巡检效率和精度方面表现优异。

智能机器人的出现，将人力从低质、重复的工作中解放出来，提升效率的同时更拓展出更多可能性，比如小度巡检机器人在疫情期间充当防控一线工作人员。而飞桨作为百度“AI大生产平台”的基础底座，以大规模分布式训练、全硬件平台支持、端到端全流程工具以及飞桨Master模式，将企业和开发者从重复“造轮子”中解放出来，应用AI的门槛更低、成本更低、效率更高，助力企业和开发者加速AI生产。正是借助飞桨深度学习技术的赋能，小度巡检机器人能够快速完成智能化升级，也快速开启了在百度深研大厦辅助安保人员的实际行动。

当前，在“新基建”时代机遇之下，产业智能化的动力愈发强劲。飞桨作为国内首个开源开放、功能完备的产业级深度学习平台，始终致力于与产业深入融合。截止目前，飞桨累计开发者数量已超过190万，服务企业数量达到8万4千家，发布模型数量已超过23万个。未来，飞桨将继续携手各行各业生态伙伴和开发者，助力产业智能化发展加速度。

如在使用过程中有问题，可加入飞桨官方QQ群进行交流：703252161。

如果您想详细了解更多飞桨的相关内容，请参阅以下文档。

飞桨全流程开发工具PaddleX项目地址：

GitHub: https://github.com/PaddlePaddle/PaddleX

Gitee: https://gitee.com/paddlepaddle/PaddleX

官网地址：

https://www.paddlepaddle.org.cn

飞桨开源框架项目地址：

GitHub:

https://github.com/PaddlePaddle/Paddle

Gitee: 

https://gitee.com/paddlepaddle/Paddle

END