让 AI 的神秘神经网络可访问

新的一年只有几周了，但是已经有迹象表明，自动化的机器学习建模（有时也称为autoML ）正在发展到一个新的高度。

具体而言，看来有希望的autoML方法（称为“ 神经体系结构搜索 ”）将很快成为数据科学家核心工具包的一部分。 这是指用于自动创建针对卷积，循环和其他神经网络架构的优化架构的工具和方法，这些架构是AI机器学习模型的核心。

神经体系结构搜索工具优化了机器学习模型的算法“神经元”的结构，权重和超参数，以使它们在执行数据驱动的推理时更加准确，快速和高效。 这项技术直到最近才开始从致力于AI工具和技术的基础研究的实验室中出现。 研究文献表明，在许多AI研发项目中，神经体系结构搜索工具的性能已经超过了人工设计的神经网络。

神经化架构搜索的商业化

在Swift发展的autoML空间中，神经体系结构搜索显示出早期商业化的迹象。

在本月初于拉斯维加斯举行的CES 2020上，我会见了位于蒙特利尔的AI初创公司Deeplite。 它的轻量级智能工具可以自动优化神经网络，以在一系列边缘设备硬件平台上实现高性能推理。 它不需要人工输入或缺乏稀缺，昂贵的数据科学家的指导。

要了解Deeplite的工具是如何做到这一点的，请查看有关该公司与台湾公司Andes Technology合作的讨论 。 Deeplite的硬件感知型神经体系结构搜索引擎中的RL（增强学习）引擎会自动发现，训练大型神经网络模型并将其部署到Andes的RISC-V硬件中。 它把在Visual Wake Words数据集上训练的MobileNet模型从13MB压缩到不到188KB，下降了将近99％，神经网络推理的准确性仅下降了1％。

亚马逊推出带有神经体系结构搜索的开源autoML工具包

神经体系结构搜索成熟的另一个关键里程碑是亚马逊最近推出了内置此功能的开源autoML工具包。与CES发行的同一周，亚马逊的新AutoGluon工具使各种技能水平的AI开发人员都能自动优化新的或用于在各种目标硬件平台上进行高性能推理的现有模型。

AutoGluon在ML模型的开发流程中自动执行数据准备，模型开发，超参数调整和训练。 它可以优化现有的PyTorch和MXNet ML模型。 它还可以通过API与现有的AI devops管道接口，以自动调整现有的ML模型，从而提高其推理任务的性能。

亚马逊目前已经在Linux平台上运行了AutoGluon，但已经宣布了MacOS和Windows支持计划。 可从该项目网站或GitHub获得 ，AutoGluon可以仅用三行Python代码自动生成高性能的ML模型。 它利用可用的计算资源，并使用强化学习算法来为其目标环境搜索最合适的神经网络体系结构。

AutoGluon使用RL来有效地利用计算资源来加快自动神经体系结构搜索的速度。 实际上，在AutoGluon和Deeplite解决方案中均实现的RL被证明是该领域最新进展的最富有成果的方法，它使用代理为中心的行为和奖励，基于对性能的估计来搜索最佳神经体系结构的空间。在看不见的数据上训练有素的体系结构。 如果您真正想了解AutoGluon的工作原理，请查看此链接 。

RL是进化算法的新兴替代方法，自1990年代以来，它一直是AI研发环境中神经体系结构搜索的核心。 进化算法仍在实验室环境中广泛使用，例如OpenAI ， Uber实验室 ， Sentient Labs（现为Evolv） ， DeepMind和Google Brain 。

在主流AI开发人员中进行神经体系结构搜索尚为时过早

随着autoML数据科学平台在企业界变得越来越普遍，诸如此类的神经体系结构搜索工具将成为标准组件。 但是，在大多数AI开发环境中，这种功能仍然很少。

我预测到今年年底，超过一半的商业和开源AI开发人员工作台将把神经体系结构搜索添加为一个集成功能。 随着autoML的采用和改进，它将通过指导他们有关是否在既定的机器学习算法 （例如线性回归和随机森林算法）上建立模型或在任何更新的，更高级的神经网络上建立模型的决策来提高数据科学家的生产力。 网络算法 。

随着十年的发展，神经架构搜索将减少数据科学家了解其ML模型的神经网络胆量的需求。 这种新兴方法将使开发人员从调整奥秘算法转向开发功能强大的预测智能应用程序的过程中解放出来，从而使AI民主化。

From: https://www.infoworld.com/article/3514568/making-ais-arcane-neural-networks-accessible.html