有关easyDL的浅析（资料集合）

在EasyDL的服务端，有下面几种核心技术：AI Workflow分布式引擎，百度自创PaddlePaddle深度学习框架，迁移学习，Auto Model Search机制， early stoopping机制，模型效果评估机制。下面来一一了解一下。

对于一个DL建模，大致工作流程如下：

（1）在数据仓库提取数据

（2）ETL*进行数据清洗，特征提取，验证集的切分

（3）分布式训练

（4）模型评估

（5）自动服务（auto serving）

大数据经典3V原则

大数据经典3V

 迁移学习（transfer learning）*

迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习（starting from scratch，tabula rasa）。举个栗子，做中草药识别模型时，EasyDL会将已有的植物识别模型运用到中草药识别当中去：将百度大规模标注的数据集在深度神经网络上做预训练，将预训练参数加入神经网络中做调解（迁移学习），从而大大提高效率。这样可以将几十个小时的训练降低到几小时甚至几分钟量级。此外，EasyDL还支持多点预训练，持续闭环等机制，使得工作流实现配置化和自动化。

 

EasyDL还使用了Auto Model Search 和 Early stopping机制，让少两样本就能有用高精度。Auto Model Search就是对模型结构和超参数做自动搜索，更好匹配不同类型数据，做最佳模型。而early stopping呢，能够降低过拟合风险。做过DL的同学应该都有体会，DL是能分分钟过拟合的，对于这种风险，early stopping能很好抑制过拟合和欠拟合。目前EasyDL的模型绝大多数准确率都在80%以上。

载录自https://blog.csdn.net/weixin_39965890/article/details/81139638

若有侵权请联系删除。