模型 windows训练 linux部署,拯救深度学习模型的边缘集成部署

眼下是AI大爆发的时代，各行各业争相在AI领域投入大量人力、财力，希望在AI时代到来之际能走在别人的前面，抢占行业步入AI时代的先机，进而获取丰厚的利润；然而AI产业落地之际也面临着技术门槛高、人才稀缺、硬件成本高等严峻问题；而百度AI开放平台重磅推出的EasyEdge端计算模型生成平台正是为了降低AI技术门槛，旨在让更多用户实现AI能力的全端集成部署，让AI无处不在。

通常将一个深度学习模型离线部署在应用端是相当复杂有难度的，因此如何将深度学习模型简单、成功的集成显得极为重要。通过百度EasyEdge，用户不需具备机器学习知识背景便可以将模型集成在各个应用场景，并能自动针对不同操作系统和硬件环境对模型进行优化和加速。下图即为百度EasyEdge生成SDK离线的基本流程，整个过程都是图形化界面操作，从上传深度学习模型到生成离线SDK整个过程最快只需1分钟即可完成。此外，平台配备的技术文档对 EasyEdge离线SDK在各个端上的集成、使用都有详细的描述，整个操作过程十分简单。

此外，提到EasyEdge就不得不提的另一款产品则是EasyDL——EasyDL是百度AI开放平台的推出定制化AI训练和服务平台，支持根据业务定制的图像分类、物体检测等服务，用户只需上传标注、分类好的图像，经过EasyDL云端训练即可获得一个具有定制能力的深度学习模型。随后，用户只需选择需要模型部署的指定端环境，EasyEdge即可生成能在端上离线使用的SDK。

EasyEdge适用于把已经训练好的网络模型部署到目标平台上进行推理计算，在这其中并不涉及任何模型训练的内容。目前平台支持用户上传使用常见深度学习框架，如PaddlePaddle、TensorFlow、Caffe、PyTorch，训练生成的模型作为输入，EasyEdge会将其生成可在Windows、Linux、iOS、Android操作系统中使用的离线SDK，并能够根据目标平台的硬件环境自动优化、加速，相比普通CPU，识别速度最高可提升10倍。自2018年11月份上线以来，已有累计过万的用户在使用EasyEdge，在气象、安防、智能楼宇、工业质检等数十个行业中都已有应用落地，为企业的智能化AI转型赋能，助力各行各业提升生产效率。

EasyEdge的主要优势在于支持市面常见的深度学习模型，并能够实现全端在线或离线的集成部署。用户上传的深度学习模型通过Convert Workflow转换成一种中间模型描述语言IR Code，它定义了一种可扩展的神经网络描述语言、一系列通用标准算子OP和标准数据类型。每一个神经网络都定义为由很多OP节点组成的有向无环图，每一个节点都有一个或多个输入与输出，形成一种通用的神经网络描述语言，任何深度学习框架的网络都能用IR Code描述，构成网络拓扑结构；IR Code再经过模型优化器分析、量化、剪枝生成更优的网络模型；最后根据用户选择的目标平台生成目标模型，打包生成离线SDK供用户下载使用。

EasyEdge平台会对稀疏度较高的模型采用不同精度的压缩，对于稀疏度80%以上的模型采用INT8量化，使优化后的模型尺寸仅为原来的1/4；对于稀疏度50%以上的模型采用Float16量化，优化后的模型尺寸为原来的一半，通过这种策略保证了模型尺寸减少的同时模型进度损失在0.05以内。此外，EasyEdge平台还采用了多种剪枝策略，减少模型中无用的计算分支，如Dropout层仅在训练过程中起到降低过拟合的作用，在推理过程中并没有用处，类似的在推理过程中无用的Layer都会从IR Code中去除，以提升计算速度。

EasyEdge是如何做到可以在全端部署呢？是因为EasyEdge不仅基于百度PaddlePaddle还集成了如CoreML、DDK、Openvino、TensorRT等开源推理引擎。对于ARM Linux平台，EasyEdge可生成基于Paddle Mobile的离线SDK，可运行在任何ARM架构的CPU上；对于Linux、Windows X86平台，EasyEdge可生成基于PaddlePaddle的离线SDK，同时支持CPU计算；对于IOS移动平台，EasyEdge生成CoreML离线SDK，识别速度仅需几十毫秒；对于Android移动平台，EasyEdge生成的离线SDK可根据手机的硬件环境自动选择性能最优的方式运行(如在华为支持DDK的手机上智能调用HiAI引擎进行推理，在支持高通NPE的手机上智能调用DSP进行推理)；此外，EasyEdge也提供了支持使用Openvino进行CPU加速、使用TensorRT进行GPU加速的模型，以及使用Intel Movidius的计算棒。

EasyEdge还推出了多种AI计算软硬一体化解决方案，发布了小型化低功耗的计算机视觉计算模块X-eye计算卡，具有价格低廉、体积小、低功耗、应用灵活、嵌入简单等特点，可以应用在城市安防、人流统计、动线分析、工业检测等场景。用户上传深度学习模型，发布模型时选择”十目开发套件+专用SDK”即可下载获取部署在X-eye上的离线SDK。

如果对于性能有很高的要求，可以选择购买EdgeBoard高性能计算卡，能将原始模型性能提升4倍以上，高性能的加速引擎提供2.4Tops的强大AI算力，完整的嵌入式参考设计便于硬件产品的结构设计及二次开发。AI硬件产品通过集成EdgeBoard，可大大提升终端设备AI推理能力。用户上传深度学习模型，发布模型时选择“EdgeBoard+专用SDK”即可下载获取部署在EdgeBoard上的离线SDK。