【星球知识卡片】AutoML都有哪些核心技术，如何对其进行长期深入学习

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享AutoML的核心技术点。

作者&编辑 | 言有三

1 AutoML与数据增强

大家都知道数据增强很重要，是深度学习必备良药，写论文刷比赛提指标的大杀器。如果让模型针对具体的任务自动学习数据增强，理论上会更加智能，这便是基于AutoML的数据增强技术，它主要是用于自动学习数据增强策略。

2 AutoML与网络优化参数

随着深度学习技术的发展，激活函数，归一化方法，最大池化方法等都发展出了不少的变种，而最新的研究则集中于如何使用AutoML技术去进行设计。

3 AutoML与模型结构搜索

一直以来，网络结构的设计是一个非常需要经验且具有挑战性的工作，研究人员从设计功能更加强大和更加高效的模型两个方向进行研究，随着各类经典网络设计思想的完善，如今要手工设计出更优秀的模型已经很难，而以AutoML为代表的自动化机器学习技术就成为了大家关注的热点，其中用于搜索的方法包括强化学习，进化算法，贝叶斯优化，而需要优化的包括已有结构的参数搜索，子单元的搜索，整个网络架构的搜索等。

4 AutoML与模型压缩

虽然NAS本身具有模型优化的功能，但是当前也有许多成熟的模型优化方法，比如模型剪枝，量化，蒸馏，AutoML技术也在其中大展宏图。

5 AutoML与模型目标与方法设计

一个有效的损失函数在深度学习任务中起了关键作用，然而损失函数都是人为设定，不仅需要有经验的人员进行反复尝试，也只能获得次优的方案，如果可以让模型自动对优化目标进行学习，将有望以更低的成本学习到更优的模型。另一方面，要成功训练一个深度学习模型，正确的优化策略是非常重要的，如果使用不当结果会产生很大的差异，AutoML也可以在其中进行探索。

6 其他

总的来说，AutoML有非常多的研究方向，包括：

(1) 特征工程。

(2) 数据使用。

(3) 网络参数优化。

(4) 强化学习与网络结构搜索。

(5) 进化算法与网络结构搜索。

(6) 贝叶斯优化等方法与网络结构搜索。

(7) 网络搜索的加速方法。

(8) 其他等等。 

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—AutoML板块阅读。

有三AI知识星球

知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：

【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？

【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！

转载文章请后台联系

侵权必究

往期精选

• 【杂谈】2020年有三AI计算机视觉培养计划详解，该不该学&怎么学CV的简单讨论

• 【年终总结】2019年有三AI做了什么，2020年我们要做什么？
  

• 【总结】有三AI秋季划模型优化组3月直播讲了哪些内容，为什么每一个从事深度学习的同学都应该掌握模型优化的内容

• 【总结】有三AI秋季划人脸算法组3月直播讲了哪些内容，计算机视觉你不可能绕开人脸图像

• 【总结】有三AI秋季划图像质量组3月直播讲了哪些内容，为什么解决好底层图像处理问题那么重要

• 【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！

• 【星球知识卡片】移动端高效率的分组网络都发展到什么程度了？

• 【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？

• 【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习

• 【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习

• 【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习

• 【星球知识卡片】视频分类与行为识别有哪些核心技术，对其进行长期深入学习

• 【星球知识卡片】图像生成都有哪些核心技术，如何对其进行长期深入学习