深度学习模型一键式服务化部署，就选Paddle Serving

随着产业智能化发展，AI模型在企业中通常以线上服务的方式对外提供AI能力，例如常见智慧城市的安防服务系统[如图]、金融行业/物流行业的OCR+NLP服务系统、安全生产中的安全帽识别系统、互联网行业的智能推荐系统等。显而易见，在这个过程中，服务化部署能力对AI模型的规模化应用落地，起到了至关重要的作用。（下图为企业使用Paddle Serving服务化部署的架构图）

安防智慧城市：AI算法—>数据中心/边缘/终端服务化上线

企业上线AI模型，实现服务化部署业务，往往最关心的是以下三个方面：

1、性能需求

企业服务系统通常伴随着高并发（在同一个时间点，大量的用户请求、访问服务），如果服务框架的性能不佳，则只能通过部署更多服务节点来满足业务需求，因此服务化部署性能能提升40%，相当于直接节省40%的机器成本，以及长期的电费、折旧等成本，不仅有利于企业节约成本，而且符合国家低碳战略。

2、功能需求

不同业务对服务部署的功能需求各不相同，A任务需要模型加密功能，B任务需要灰度测试，C任务需要模型热加载，服务框架的功能完备性也是企业选型时的重要依据。理想情况下，业务实际部署上线过程中所需要的所有功能，服务框架都应具备，不再需要企业用户再进行二次开发。

3、便捷需求

服务框架的上手难度、二次开发的学习成本、是否提供相关Demo示例、文档教程是否完备、部署的便捷性、使用过程中的问题定位等一系列便捷需求也是企业选择服务框架时重点考虑的因素。

飞桨服务化部署框架Paddle Serving经过多个版本的不断迭代升级，是市面上为数不多的能同时解决企业服务部署过程中三方面需求的深度学习服务部署框架：

1、极致性能   

为了让用户能够实现在高并发、多模型支持等场景的高性能部署，Paddle Serving服务化部署框架进行了极致的性能优化，以某招聘领域头部公司使用Paddle Serving服务化部署工具的效果举例：使用最新的Paddle Serving较之前的版本QPS平均提升5倍，日均流量12w左右情况下，CPU申请核数从50降低到5个即可满足业务要求。

某招聘领域头部公司使用Paddle Serving的QPS性能提升平均5倍以上

某招聘领域头部公司使用Paddle Serving部署的资源节省信息

2、功能全面

Paddle Serving经过多个版本迭代，在Client端具备了加密预测、A/B Test、数据压缩、HTTP/GRPC/BRPC多种网络协议和Java/C++/Python多语言客户端的功能；在Serer端具备了模型加密推理、模型热加载、自动Batch合并、AutoPadding、模型热加载、请求缓存、Cube稀疏参数索引、基于DAG图执行引擎的多模型组合、CPU/GPU/XPU多种硬件支持的能力，同时支持了Kong安全网关、kubernetes容器集群管理系统等一系列功能，覆盖企业服务部署的日常功能需求。

Paddle Serving功能全貌

Paddle Serving基于K8S的服务部署上云 / Kong安全网关

3、便捷易用

为了让用户便捷易上手，目前Paddle Serving已经在官网仓库中加入了6类（图像分类、目标检测、图像分割、文字识别、自然语言处理、推荐）共计45个模型的示例供用户参考。对于绝大部分用户，仅需一行命令即可完成深度学习模型的服务部署工作。此外Paddle Serving提供了两种语言（Python/C++）编写的服务框架，方便深度用户选择自己熟悉的编程语言二次开发。用户在使用Paddle Serving过程中遇到的任何问题都可以在Github官网、微信群、QQ群中提出，我们的框架开发人员会为您及时耐心地解答。

先奉上开源服务化部署代码实现：

https://github.com/PaddlePaddle/Serving

喜欢的小伙伴Star收藏，深入研究使用。

课程预告

为了系统讲解服务化部署的技术能力，我们安排了一节以PP-OCRv2服务化部署为例的手把手课程。通过本节课程，大家即可掌握从入门部署到高性能提升的服务化部署全栈能力，3月31日晚上19：00～20：30，欢迎大家前往「飞桨PaddlePaddle」B站直播间，一起来揭开服务化部署的面纱！

微信扫码报名课程，即可加入官方技术交流群，在这里您可以获得更高效的问题答疑，与各行各业开发者充分交流，期待您的加入！更多飞桨的相关内容，请参阅以下内容。

生态建设

如果你有好的Paddle Serving落地项目或生态共建方式，欢迎随时和我们联系[email protected] 中国AI舞台，诚邀你的加入。

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~