【微软AutoML】AutoML工具 NNI 安装及使用体验

【微软AutoML】AutoML工具 NNI 安装及使用体验

AutoML是机器学习中一个新的方向，用自动的方式寻找超参数组合，志在解决老大难的调参问题。众所周知，调参在炼丹术中是非常重要的，神经网络的大小、层数、学习率、Dropout等等都是超参数，都需要人为确定，而这个过程几乎是玄学。Google曾经在一篇研究LSTM的文章中（貌似叫On the state of the art of evaluation in neural language models）指出，老LSTM（1997年提出）调好参数可以超过很多新LSTM以及一些现在最先进最牛逼的模型，可见调参的重要性。而值得一提的是，这篇文章使用的就是谷歌自家的AutoML方法，用了800多块卡。。。

何为NNI

NNI就是微软的一款AutoML工具，开源的哦~
https://github.com/Microsoft/nni
An open source AutoML toolkit for neural architecture search and hyper-parameter tuning.

安装

目前貌似只支持Mac OS和Linux，其实我觉得就算不支持Windows也没什么的，因为AutoML是个非常需要算力的事情，没很多块GPU，AutoML的功能基本发挥不出来，所以你需要一个强大的服务器（不过微软怎么会放弃支持呢2333）

首先说一下，我是Mac OS X 10.13

2333，直接pip安装，实在是太方便了。

$ python3 -m pip install --upgrade nni

运行

跑一下官方的样例：

$ nnictl create --config nni/examples/trials/mnist/config.yml

观察一下这个命令我们就可以知道这里有个config，一定是可以做一些重要的设置，比如运行命令、超参数集合和参数范围。

可见 NNI 是在本地建立一个Server进行交互的，和Jupyter Notebook 一样。
浏览器访问 127.0.0.1:8080 即可，UI还是蛮漂亮的，本人就是颜控。

这个页面可以看到参数调整的过程和图示（有超丰富的图表样式

试一下基本操作，比如控制台输入：

$ nnictl top

就弹出了类似 top 命令的内容，可以监测正在运行的任务。

$ nnictl stop

结束运行。

由于Someday手头并没有那么多算力，所以暂时没有完整搜索完的结果给大家看。不过看看README中的介绍，可以看到NNI已经集成了很多ML的自动调参算法了，只要算力允许，NNI还是很有潜力的工具。

以上就是 NNI 安装和使用介绍，谢谢客官~