调参到脱发？自动超参搜索带着免费算力资源拯救你！
在人工智能领域，算法工程师在训练神经网络模型的过程中，完成网络构建和准备好训练数据后，往往需要对模型进行各种参数优化，以获得更好的模型效果。但调参其实并不简单，背后往往是通宵达旦的参数调试与效果验证，并需要做大量的实验，不仅耗时也耗费大量算力。
这个时候，往往想尝试自动超参搜索，但又开始担心算力要求所带来的额外训练成本。
莫慌！百度全功能AI开发平台BML带着免费算力额度与自动超参搜索能力来了！
先来介绍百度最近全新升级的BML，何方神圣？
全功能AI开发平台BML(Baidu Machine Learning) ，是为企业和个人开发者提供机器学习和深度学习一站式AI开发服务，并提供高性价比的算力资源，助力企业快速构建高精度AI应用。BML提供了从数据采集、数据清洗、数据标注、智能标注与多人标注、模型训练生产到模型管理、云端及离线推理服务管理等AI开发过程的全生命周期管理功能。
BML内置百度超大规模预训练模型，只需少量数据即可获得高精度模型效果。目前，BML已经支持脚本调参、Notebook与自定义作业这三种开发建模方式，灵活匹配企业开发者的开发习惯。
在目前的脚本调参使用流程中，BML已经预设了模型超参数，但由于用户数据集内容丰富多样，预设的超参数很难在所有的数据集上得到很好的训练效果。用户可以自行调整超参数，但是手动调参十分耗费人力。为了减轻用户在调参上的精力投入, BML的研发大佬们日夜奋战，为用户上线了自动超参搜索的功能，帮助用户自动搜索效果较优的超参组合，省去调参的烦恼。
话不多说，进入本次正题，百度BML的自动超参搜索技术有哪些亮点？
提供多种搜索算法
所谓“超参”，有别于模型网络结构内部各层的参数，是指需要人为调整，通过人为经验设置来提高模型效果的参数，常见的超参包括学习率(learning_rate)、批样本数量(batch_size)等。在超参搜索的过程中，由于模型复杂、计算成本很高，且每个超参数都有较大的取值范围，导致搜索空间十分庞大，因此我们需要有“自动”超参搜索。
自动超参搜索相比于人工调参，主要是省去了人工观察实验结果并调整参数再试验的过程，自动超参搜索把这个步骤用各种搜索算法来代替。
BML提供的搜索算法有：
1. 随机搜索
顾名思义是在参数变量的变化区间中随机采样参数组合成候选集，应用候选集进行训练和效果对比。随机搜索是普适的效率较高的搜索方法，通常作为基线标准，适用于对效率要求较高的情况，但不能保证一定能搜索到最佳的超参。
2. 贝叶斯搜索
在搜索空间中随机选取初始超参数点，然后根据已有超参对应的指标结果拟合概率模型，通过概率模型推测最佳超参点，接着再试验得到这些超参点的结果。如此反复优化，再有限试验次数中搜索出合适的超参数。基于模型的序贯优化方法(SMBO, Sequential Model-Based Optimization)是贝叶斯搜索的一种范式，包括两个部分: 代理模型(surrogate model) 和 采集函数(acquisition function)。根据代理模型和采集函数的不同，贝叶斯搜索方法也有许多实现形式，其中TPE(Tree-structured Parzen Estimator)是一种全局探索能力较佳的方法，采用核密度估计方法(KDE, Kernel Density Estimation)生成代理模型，采用EI(Expected Improvement)作为其采集函数生成新采样点。
3. 进化算法
进化算法是一种基于种群概念的超参搜索策略，把超参配置视为一个种群，并行优化多个种群并在种群内部进行优胜劣汰的筛选，最终输出最佳模型。这个过程（如下图所示）是从遗传算法获得的灵感，种群的初始化采用随机的方式生成，个体的优胜劣汰具体指利用(exploit)和探索(explore)两个步骤，不仅可能会从表现较好的个体中复制参数，它还能通过随机扰动修正当前的值而探索新的超参数组合。
图片来源：https://arxiv.org/pdf/1711.09846v1.pdf
百度创新提出了随机微分方程无梯度优化算法PSHE2，采用哈密尔顿动力系统搜索参数空间中“势能”最低的点以替代随机扰动，加速迭代收敛。超参搜索过程中想要求得最优解就是要找到更新超参数组合的方法，即如何更新超参数，才能让算法更快更好的收敛到最优解。PSHE2算法根据超参数本身历史的最优，在一定随机扰动的情况下决定下一步的更新方向。过程如图所示。
图片来源：https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md
| 方法 | 网格搜索 | 随机搜索 | 贝叶斯搜索 | 进化算法 |
| 优点 | 实现简单，效果取决于用户设置网格间隔大小 | 多参数联合搜索时，增大了每个参数的搜索范围，提高搜索效率。 | 搜索迭代次数少，效率高，借助已有采样点通过贝叶斯估计最佳超参。 | 降低每轮迭代训练时间，将计算资源集中于参数搜索上，通过复用历史表现好的个体的预训练参数来加快收敛 |
| 缺陷 | 消耗计算资源 | 效果不稳定 | 可能陷入局部最优 | 如果超参导致模型结构变化等因素导致不能加载预训练参数时则不适用 |
自动超参搜索方法比较
上表归纳了一下这些搜索方法的优缺点。总之，网格搜索和随机搜索实现上比较简单，不利用先验知识选择下一组超参数，其中随机搜索效率相对较高。贝叶斯搜索和进化算法需要用前一轮的信息进行迭代搜索，搜索效率明显提升。
BML自动超参搜索的实现：系统架构
BML自动超参搜索功能基于百度自研自动超参搜索服务，服务运行过程如下图所示，依靠百度智能云CCE算力，支持多自动搜索任务并发。为了提供一个“好用”的自动超参搜索服务，架构实现时在并发搜索效率提升和系统容错方面着重进行了考虑。
一次超参搜索任务包含以下流程：
1. 业务平台把超参搜索任务的用户配置信息提交到超参搜索服务，会创建一次搜索实验(Experiment)，并记录到db中。
2. 搜索服务把任务提交到Experiment controller, 由controller初始化创建Trial管理模块，并负责Experiment生命周期的管理。
3. Trial是具体的训练试验，一个Experiment会产生多个Trial来探索不同超参数组合的最终效果。Tuner是超参生成的模块，会根据选择的超参搜索算法，推荐下一个Trial所使用的超参值。在Trial管理模块中，Exp Manager会负责生成若干Trial, 向Tuner请求具体的试验超参数，并向Trial Scheduler发送Trial任务信息。
4. Trial Scheduler会与底层资源交互实际启动Trial。Trial Scheduler会管理所有Trial的生命周期。
5. 每个Trial运行完成后，会向Exp Manager汇报指标等信息，用于汇报给tuner并记录到db。
BML自动超参搜索主要有以下特性：
1、简单易用：相比于同类产品的复杂配置，BML在为用户提供必须的开放配置项的前提下，尽可能减少超参配置的繁琐程度，凡是可以自动化的工作均不对用户可见。
2、模型丰富：与脚本调参上提供的丰富的模型打通，可以直接配置化完成相应任务的搜索，甚至不用写代码！
3、容错机制：自动超参搜索任务具有模型训练次数多、任务整体运行时间长的特点，受显存资源限制，有些搜索出的超参数无法成功运行。兼顾搜索效果和可用产出，增设模型训练失败次数阈值，把Experiment和Trial这样多任务的复杂状态管理分拆到各层模块中，尽可能为用户提供搜索出的可用结果。
4、支持早停与采样：搜索框架内部支持自动早停，当达到设定的预期结果时即可自动停止；同时也支持在界面上手动提前停止，减少用户的等待时间，避免不必要的算力消耗。支持用户选择大数据集时自动进行采样，减少超参搜索训练耗时，以尽快搜索出合适的超参为上。
5、高效分布式智能搜索：深度学习模型的训练时间往往较长，对于大规模数据集或者复杂模型的搜索任务，单机串行的搜索方式几乎不可用。我们注意到有的搜索算法中每次试验是可以独立进行训练的（如网格搜索、随机搜索），可以直接对所有试验并行化；有的搜索算法虽然本质基于迭代，但每个迭代中的试验运行仍然是相互独立的，因此我们可以在迭代内部进行并行化搜索。BML内部实现了智能调度系统，根据不同的算法类型，采用不同的并发策略，可以大幅度降低整体搜索时间。
上手实操：自动超参搜索使用攻略
1. 首先点击 https://ai.baidu.com/bml/app/project/script/list 创建一个脚本调参项目，如果已经有项目了，直接用就可以！目前支持超参搜索的项目类型有图像分类（单标签和多标签）及物体检测，创建对应类型的项目就可以了
2. 在项目里新建任务，配置好任务的网络、数据、脚本之后，就可以看到“配置超参数”的选项了。这里如果已经有超参搜索的结果，可以直接勾选“已有超参搜索结果”来使用，如果第一次使用还没有，就直接选择“自动超参搜索”。
3. 目前BML支持了三种超参搜索算法，如图，分别是贝叶斯搜索、随机搜索和进化算法，可以根据自己需要选择一种来搜索。具体配置项说明可以参考技术文档。
3.1 贝叶斯搜索的参数说明
【初始点数量】代表贝叶斯搜索中，初始化时参数点的数量，该算法基于这些参数信息推测最优点 ，填写范围1-20。
【最大并发量】贝叶斯搜索中，同时进行试验的数量，并发量越大，搜索效率越高，填写范围1-20。不过这个并发量也会受限于页面最下方选择的GPU数量，实际并发量是二者的较小值。
【超参范围设置】：可以是默认配置，也可以手动配置。默认的话百度的工程师们已经帮我们对不同网络、GPU卡型设置了一个基本靠谱的搜索范围，直接用就可以。当然也可以手动配置，可以自定义各个超参的范围，可以看到物体检测支持以下这些超参自定义搜索范围：
【最大搜索次数】：是指最多组合出多少组超参并跑试验，当然有可能会因为提前达到目标而停止，节约费用。
【数据采样比例】：使用超参搜索时，会对原始数据集进行采样后再训练，加快搜索速度。当数据集并不大时，不推荐采样哟，可能会影响最终效果，只有大数据量时才有使用采样的必要。
【最高mAP/最高精确率】：是指大家期望模型效果可以达到的mAP（物体检测）或准确率（图像分类）的值，当试验中达到这个值了搜索就会停止，避免后续浪费搜索时间。
3.2 随机搜索参数说明
随机搜索最简单啦，就不需要再额外配置算法相关的参数了，其它公用的选项和贝叶斯搜索的含义是一样的，参考贝叶斯搜索即可。
3.3 进化算法参数说明
进化算法是一种效果较好的算法，应用此算法时也需要进行较多的选项设置：
【迭代轮数】:进化算法运行中迭代的轮数，范围5-50。
【扰动间隔】:进化算法每隔几个epoch就会进行随机扰动，利用随机因素防止算法结果收敛于局部最优解。
【扰动比例】：类似于染色体交叉的形式，迭代中一个种群内最好与最坏的个体依据扰动比例进行交叉。
【随机初始化概率】：在扰动中，有一定概率对个体的超参数进行初始化。
【种群个体数量】：一个个体代表一种超参数设置，一个种群中包含多个个体。
其它选项和贝叶斯搜索的含义一致，也不重复了。进化算法的配置需要对算法的原理有一定的了解，如果对算法不明白的，就直接用百度给的默认值吧！
4. 超参的选项设置完成了，最后选择GPU卡类型和数量，以及最大搜索时间，就可以提交任务啦！这里默认的搜索时间是24小时，毕竟超参搜索会运行多次试验，时间会比较长，需要耐心等待，当然如果选的GPU卡数越多，并发试验数就越高，从提交任务到搜索完成的耗时就会变少，这是显而易见的
5. 任务提交之后，过一会当任务进入“超参搜索中”的状态时，就可以看到各个试验的进度了，包括各个试验的状态、日志和准确率（mAP）
6. 超参搜索训练完成后，效果最优的5次试验可以看到详细的评估结果，也能用于后续的效果校验和发布。当然，如果在超参搜索时对数据进行了采样，这时候可以重新发起一次训练任务，用这次搜索出来效果满意的超参数进行全量数据训练，从而获得完整数据的模型效果
效果才是硬道理：超参搜索效果提升高达20%+
我们对比了图像分类、物体检测、实例分割等任务在使用普通脚本调参和超参搜索的效果情况，以下是5个不同数据集在BML平台上分别使用默认脚本调参参数、超参搜索使用进化算法、超参搜索使用贝叶斯搜索算法的效果对比。图中左边纵轴为模型的准确率，右边纵轴为超参搜索算法在效果上提升的比例。可以看到在不同数据集上使用超参搜索后效果均有提升，在默认参数精度已经超过85%的情况下，使用超参搜索仍能提升约5%，在默认参数效果较差的情况下，超参搜索的提升效果更为明显，可高达22%。
在常规操作下，可用的深度学习自动超参搜索由于需要集群计算资源，往往被认为只有大公司才能配置，普通开发者难以上手尝试。通过使用百度全功能AI开发平台BML，预算有限也有机会用上自动超参搜索，开发效率瞬间搭上火箭速度，摆脱人力“炼丹”的束缚。BML新用户现在还提供100小时免费P4显卡算力，羊毛在向你招手，快来薅一把！
BML官网：https://ai.baidu.com/bml/
